二次元fluxlora模型分享-建议搭配union-controlnet-v2使用最佳

这个模型基于flux-dev版模型训练的lora,具备很好的泛化能力。二次元风格,这个模型可以结合线稿、参考姿势结合union-controlnet-v2模型一起使用,能够很好的控制造型姿势。

controlnet-v2工作流

图1是参考图,图3是结合姿势生成的效果。

下面两张图是完全通过参考姿势,完全由模型生成的效果,最终在ps中进行合成构图。

训练参数

最大训练24轮,打标采用触发词和tag组合,素材分为场景图和单人角色效果,拆分训练

下图为文生图效果:

以下是lora通过controlnet-v2 一起使用的流程效果,包括最终修复的效果。

通过网盘分享的文件:

模型触发词:yifanjie_girl,后续接自然文本描述 lora模型权重建议在0.7-0.9之间

链接: https://pan.baidu.com/s/1PQi21XKcrFCvjroZoJXSTQ?pwd=3f54 提取码: 3f54

配套的union-controlnet-v2工作流:https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0

分享手动安装搭建Flux-GYM训练工具

哎,其实我更希望分享一些高级一些的东西。天天整这些也不是个事,但是为了能够搭建本地训练环境还是咬着牙踩这个坑。

言归正传,说下基本的配置要求,这个工具要求python版本要在10-12之间,你可别装13的python版本,因为后续会给你安装依赖库带来报错,查来查去最终是因为13版本并不匹配。

另外先安装好Microsoft visual tool生成工具,Visual Studio 2022 版本最好,并且安装完成勾选C++ 桌面开发

再其次,一定要安装nump 1.26.0的版本,2.0以上依赖库会出现冲突。安装node-v20.14.0-x64,安装Rust。这些都是在安装过程中需要对依赖进行编译才能成功安装的基础工具。

对了,Microsoft visual tool C++ 编译器安装成功一定要在环境变量中加入path,set PATH=%PATH%;C:\Program Files (x86)\Microsoft Visual Studio\2019\BuildTools\VC\Tools\MSVC\14.29.30133\bin\Hostx64\x64

可以根据14.29.30133改成你自己安装的版本,以上命令在CMD中运行可加入(强烈建议手动添加)。

以上基础工具安装完成,再根据github中的要求按步骤进行安装。

克隆项目到本地,再从创建python的venv虚拟目录创建,激活并安装依赖都是正常的,我在sd-scripts安装依赖到flux-gym根目录下安装依赖都正常。

最后一步,唯独在这一段:pip install –pre torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu121

命令安装 2.5.1+cu121出现报错。为啥呢?因为requirements中并没有将这个包:optimum-quanto 指定安装版本,因为optimum-quanto要求 torch>=2.6.0,但系统安装的版本是 2.5.1+cu121

对此那就将optimum-quanto指定下版本, pip install optimum-quanto==0.2.6

最终安装完成,折腾了我3个小时。真是感谢作者吼。

以上,希望在遇到同样问题的人能够提供帮助。

关于SD-FLUX-AIGC的模型训练工具的使用感受

今天来说说我所接触的这四个训练工具,目前来说稳定性比较好,受到广大群众认可的训练工具。其核心都是采用的kohya-ss底层。我之所以推荐这四个其实基本上考虑到易用性,对新手是友好的。

硬件要求:最起码16G的显存起步,如果没有最好是用线上训练平台来做。时间效率会高很多。kohya本身是本地部署的,包括秋叶训练工具。如果要从易用性上考虑还是推荐用秋叶训练包,界面友好、文本解释性的内容直观,能够消除新手入门的很多疑惑。

kohya也是有GUI界面的,使用的是gradio的框架,和stable diffusion界面一致。但是,如果对训练原理不太懂其实并不推荐,这会让你因为各种参数,报错给折腾的无从下手。

kohya-ss 地址:https://github.com/kohya-ss/sd-scripts/tree/sd3

秋叶训练 整合包项目地址 https://github.com/Akegarasu/lora-scripts

Civitai 模型训练平台 地址:https://civitai.com/models/train

算力需要收费,5美元5000个Buzz(也就是显卡算力),相比liblib稍微便宜一点昂。个人比较推荐的训练平台。支持多个任务同时进行,支持最新flux模型lora训练。价格比较便宜,数量集最大支持1000的限制。

交互设计上采用分阶段提交的方式,各个参数说明都挺详细,训练过程如下:

civitai flux 模型训练界面

实际训练体验

如果你是仅训练单一风格素材(例如单一人像风格,单一属性元素的图标等等)并且训练集的数量较少可以选择这个服务。否则你的训练集过多会因为总步数的限制导致训练效果不佳。后台给你的总步数是10000步,超出这个数系统不会执行。

liblib 训练 地址:https://www.liblib.art/pretrain

liblib 模型训练界面

他们的界面简化了训练参数,如果需要专业参数可以点开设置。

哩布哩布的话是生成会员+训练会员制度,如果你是有训练需求的话只需要购买训练会员就可以了,一般训练300训练集以上要充值199元,59元是一个基础的模型训练仅支持200张训练集

实际效果如何可以访问这个地址:Flux-日韩二次元 写实 游戏图标模型

基于flux1模型训练的lora,实际使用请看详细说明。