次元画室GitHub开源项目展示分享自定义风格LoRA训练代码与成果最近在玩AI绘画的朋友可能都遇到过这样的烦恼网上那些现成的模型生成出来的图虽然好看但总觉得少了点“自己的味道”。要么风格太大众化要么细节不符合自己的审美。想训练一个专属自己的风格模型一看教程又是环境配置又是参数调优头都大了。今天给大家分享一个我们团队在GitHub上开源的项目就是专门为了解决这个问题而生的。我们基于“次元画室”这个大家熟悉的平台做了一套二次开发核心目标就一个让自定义风格LoRA模型的训练变得像点外卖一样简单。这个项目里我们不仅封装好了开箱即用的训练脚本还提供了我们使用特定数据集训练出的多个风格模型效果以及大量的生成对比图。你可以直接看到效果也可以一键跑起来训练你自己的模型。我们希望吸引更多对AI绘画感兴趣的开发者一起玩把生态做得更丰富、更好用。1. 项目核心我们到底做了什么简单来说这个项目是一个“自定义风格LoRA模型训练工具包”。LoRA是一种高效的模型微调技术它可以在不改变原始大模型参数的情况下通过训练少量额外的参数让模型学会新的风格或概念。我们的工作就是把训练一个高质量LoRA模型所需要的复杂步骤打包成了几个清晰的脚本和配置文件。1.1 为什么选择“次元画室”作为基础“次元画室”本身已经是一个功能比较完善的AI绘画WebUI社区活跃插件生态丰富。我们选择它作为基础进行二次开发主要基于几点考虑用户基础广很多AI绘画爱好者已经熟悉它的界面和操作逻辑降低了上手门槛。生态成熟它支持多种模型加载和丰富的插件方便我们集成训练功能并进行效果预览。易于扩展其模块化的设计让我们能够相对轻松地添加训练相关的后端接口和前端组件。我们的项目不是要再造一个轮子而是在一个大家熟悉的、好用的轮子上加上一个强大的“个性化定制”引擎。1.2 项目里包含了什么打开项目的GitHub仓库你会看到几个核心部分训练脚本 (train_scripts/)这是项目的核心。我们提供了从数据准备到模型训练的一站式脚本。你不需要理解背后复杂的深度学习框架调用只需要按照说明准备好图片修改一下配置文件里的路径运行一个命令训练就自动开始了。配置文件示例 (configs/)我们针对不同的风格比如“水墨风”、“赛博朋克”、“厚涂油画感”提供了对应的训练配置模板。这些配置里包含了我们认为效果不错的训练参数如学习率、训练步数、网络维度等你可以直接使用也可以在此基础上微调。效果展示与对比图 (showcase/)光说不练假把式。我们用自己的数据集训练了几个风格模型并生成了大量对比图。这部分内容非常直观你可以清楚地看到同样的提示词用了我们的自定义LoRA和不用出来的效果差异有多大。使用文档 (README.md和docs/)我们写了详细的步骤说明从环境搭建、数据准备到训练启动和模型使用力求让每一步都清晰无误。即使你之前没接触过模型训练跟着文档也能走通。2. 效果惊艳展示看看这些自定义风格的实力说了这么多不如直接看效果。我们训练了多个不同风格的LoRA下面挑几个有代表性的案例给大家看看。2.1 案例一国风水墨意境目标风格模仿中国传统水墨画的笔触、留白和意境追求“气韵生动”。训练数据我们收集了约150张高质量的古代山水画、花鸟画作为训练集。效果对比通用模型提示词“一座山一条河一艘小船有雾气”通用模型生成画面更偏向写实风景照片细节丰富色彩饱和缺乏水墨的晕染感和笔触的飞白效果。 国风水墨LoRA提示词“一座山一条河一艘小船有雾气水墨画风格笔触晕染大量留白”生成效果画面立即变得疏朗。山的轮廓用深浅不一的墨色勾勒河水部分大量留白仅用几笔淡墨暗示。整体氛围静谧、空灵完全抓住了水墨画的神韵。从对比能明显看出加入了我们训练的LoRA后AI不仅理解了“水墨画”这个标签更把握住了其核心的审美特征——意境大于形似。2.2 案例二科幻赛博朋克目标风格突出霓虹灯光、机械义体、雨夜街道、高科技低生活High Tech, Low Life的视觉元素。训练数据使用了约200张经典的赛博朋克电影截图、游戏原画和概念设计图。效果对比通用模型提示词“未来城市街道夜晚下雨”通用模型生成可能是一个干净、明亮甚至有些单调的未来都市夜景缺乏标志性的视觉冲击力。 赛博朋克LoRA提示词“未来城市街道夜晚下雨霓虹灯全息广告穿着机械义体的人物”生成效果画面氛围感拉满。街道被蓝紫色和粉红色的霓虹灯照亮空气中弥漫着光晕和雨雾建筑立面上爬满了巨大的全息广告行人身上闪烁着机械结构的冷光。那种潮湿、拥挤、迷幻的赛博朋克感一下子就出来了。这个案例展示了LoRA在强化特定视觉词汇和整体色调把控上的强大能力。2.3 案例三个性插画师风格目标风格模仿某位特定插画师的笔触、用色习惯和人物造型特点。训练数据我们取得了该插画师的授权使用其公开发布的约80张作品进行训练。效果对比通用模型提示词“一个女孩长发坐在窗边看书”通用模型生成是一个常见的“二次元美少女”形象风格比较泛化。 插画师风格LoRA提示词“一个女孩长发坐在窗边看书[画家风格]”(这里用[画家风格]触发词激活LoRA)生成效果人物立刻带上了鲜明的个人印记。比如眼睛的画法、头发的光泽处理方式、服装褶皱的线条甚至画面整体的暖色调都高度还原了那位插画师的标志性风格。这对于想要批量产出统一风格作品的创作者来说价值巨大。这个案例证明了只要有高质量、风格一致的数据集LoRA完全可以成为复制和延伸个人艺术风格的强大工具。3. 如何快速上手三步开启你的风格定制之旅看到上面的效果是不是心动了接下来我带你快速走一遍流程看看如何用我们这个项目训练出你的第一个专属风格模型。3.1 第一步准备你的风格数据集这是最关键的一步数据质量直接决定模型效果。图片数量建议20-50张高质量、风格一致的图片。太少学不会太多可能过拟合。图片内容最好是你想学习的风格的代表性作品。如果是人物风格需要多角度、多表情如果是场景风格需要多样化的构图。图片处理统一分辨率推荐512x512或768x768去除水印和不相关元素。我们脚本包里包含了一个简单的图片预处理工具可以帮你完成裁剪和缩放。3.2 第二步配置并启动训练克隆项目从我们的GitHub仓库把代码下载到本地。安装依赖项目根目录下有一个requirements.txt文件通常一行命令pip install -r requirements.txt就能安装好所有需要的Python库。修改配置找到configs/目录下与你风格最接近的配置文件比如你想训练厚涂风格就找油画感的配置。主要修改两个地方你的训练图片文件夹路径和你想给模型起的名字。运行脚本在命令行中进入项目目录运行类似python train_scripts/main.py --config configs/your_style.yaml的命令。训练就开始了训练过程中脚本会输出日志告诉你当前的训练步数和损失值。通常在一张主流显卡如RTX 3060 12G上训练一个LoRA模型需要30分钟到2小时不等。3.3 第三步在“次元画室”中加载并使用模型训练完成后你会得到一个.safetensors格式的模型文件。将这个文件放入“次元画室”的LoRA模型目录通常是stable-diffusion-webui/models/Lora。重启或刷新“次元画室”的WebUI界面。在文生图或图生图页面点击LoRA模型标签就能看到你刚刚训练好的模型了。点击它提示词框中会自动插入对应的触发词如lora:your_model_name:1。现在像平常一样输入提示词生成的图片就会带上你训练的风格了4. 开源与社区邀请你一起来玩我们把所有代码、配置和部分训练数据在符合版权规定的前提下都开源出来是真心希望打造一个活跃的社区。对于使用者你可以直接使用我们训练好的模型也可以参照我们的方法轻松训练自己的。遇到问题可以在GitHub的Issues里提问我们会尽力解答。对于开发者我们非常欢迎你来贡献代码。比如你觉得训练脚本的某个环节可以优化或者想增加新的功能比如更智能的数据标注工具、训练过程可视化监控都可以提交Pull Request。对于创作者如果你有独特的艺术风格数据集并且愿意分享我们可以合作将训练好的模型加入到项目的展示页让更多人使用和欣赏你的风格。这个项目的长远目标是成为一个围绕“次元画室”的、最易用的自定义模型训练和分享平台。一个人的力量有限但一群人的创意是无穷的。5. 总结与展望折腾这个项目有一段时间了最大的感受是技术门槛正在迅速降低。以前觉得高深莫测的模型训练现在通过LoRA这样的技术和我们做的封装已经变得非常亲民。任何对某种视觉风格有执着爱好的人都有机会创造属于自己的“AI绘画滤镜”。从实际效果来看我们训练的这几个风格LoRA都达到了预期。它们不是简单地给图片加个滤镜而是真正让AI理解了某种风格背后的构成法则并能融会贯通地应用到新的创作中。这对于内容创作者、设计师甚至只是喜欢“折腾”的AI爱好者来说都打开了一扇新的大门。当然项目还有不少可以改进的地方。比如如何更智能地评估数据集质量如何自动化调参以获得更稳定的训练效果以及如何更好地将训练功能集成到“次元画室”的UI中让整个过程完全图形化、无代码。这些都是我们未来想和社区一起探索的方向。如果你也对创造独一无二的AI绘画风格感兴趣不妨来GitHub上看看我们的项目。从下载代码到跑出第一个模型可能比你想象的要快得多。期待看到你训练出的精彩作品获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。