ComfyUI-电商模特好帮手肖像大师(中文版)工作流

我为什么分享这个工作流失是因为我有过电商服装、护肤品视觉设计的工作经历,其次加上flux模型的加持,改善手指的正确刻画搭配flux-lora真实模型这个工作流在ComfyUI-稳定性相比SD和MJ要好。

flux基础模型搭配真实flux-lora模型的真人流程我下次会编写成文档,谈谈我的感受。这次分享由github作者【ZHO】分享的肖像大师的工作流

我使用的是SDXL真人模型,中途没有挂在任何lora模型,这个插件(工作流)的特点就是通过将人像定制实现了具像化参数化更精准的控制功能

整体工作流:

插件参数

生成效果

这个流程真正的做到了真实人像,因为往往拿来做设计的模特图设计师一般除了模特好看之外还会关注真假感觉,如果被消费者识别出一眼AI效果,将对品牌的信任度也有影响。

大而全的人种选择:

特定姿势定制:

还有其他各种脸部的定制修改,有点像游戏捏脸玩法了吼。不再赘述……

ComfyUI-Flux-支持文本直出-模型跑图感受分享

我预计 Flux 模型将会是在视觉模型中长期霸榜,生成风格的多样性、对人物肢体的控制,都是其他模型无法比拟的。接下来我将展示2个流程来具体看看它的生成质量。

案例一 迪斯尼风格电影海报

首先,我用这张海报来进行文本反推来获取海报的关键词,使用工具:https://huggingface.co/spaces/fancyfeast/joy-caption-pre-alpha

获得关键词如下:This is a digital promotional poster for the Disney+ animated film “The Ice Age Adventures of Buck Wild.” The image is a vibrant, colorful cartoon depiction set in a lush, jungle-like environment. The background features dense foliage, tall trees with broad leaves, and a variety of greenery, creating a sense of depth and immersion.

In the foreground, two anthropomorphic ground sloths, Buck and Crash, are prominently featured. They are standing on a large, gnarled tree branch, with Buck on the left and Crash on the right. Buck is holding a stick in his right hand and has a playful expression, while Crash is smiling and has his arms outstretched, as if excited. Both characters have light brown fur with darker brown stripes, and their eyes are large and expressive.

The title “The Ice Age Adventures of Buck Wild” is prominently displayed in large, bold, yellow letters in the center of the poster. Above the title, the text “Disney+ + gets wild” is written in white. Below the title, the Disney+ logo is visible, along with the phrase “Original movie from 20th Century Studios.” The poster’s overall style is bright and cheerful, with a playful, adventurous tone.

别小看上面这个反推工具,目前来说使用体验最好的,对图像的识别能力非常强。有兴趣可以制作成插件。跑题了,来看看我的工作流。

我使用的是flux_bnb_nf4_v2的checkpoint,直接简单的文生图流程,生成的效果如下:

我将海报中的两个角色换成猫和狗,海报输出的文字进行了修改,得到上图的效果。

案例二 3D 风格人像

依然是网上搜集的一张海报,赛博风格

依然用反推提示词,这里要注意。可能是这个反推文本模型存在一定的局限,这类人物角色它描述成二次元的风格。所以呢,我对此进行了适当修改,让他具备3d,blender技术效果。

提示词如下:This image is a digital illustration, likely created in a comic book style, featuring a futuristic, cyberpunk aesthetic. The central figure is a young woman with pale blue skin and striking, large, orange eyes. Her hair is platinum blonde and styled in a sleek, high ponytail. She is dressed in a high-tech, form-fitting outfit with metallic accents, giving her a futuristic, robotic appearance. Her left hand, which is gloved in a black, mechanical-looking glove, is holding a clear glass filled with a refreshing drink, which she is sipping through a straw.

The background is predominantly black, with vibrant yellow and orange accents, creating a striking contrast that highlights the central figure. The magazine cover title, “FAVR,” is prominently displayed in large, bold letters at the top, with additional Japanese text on the left side. The word “SMOOTHIE” is written in bold, white letters at the bottom, emphasizing the theme of the cover. The overall color palette is a mix of cool blues and warm oranges, contributing to the high-tech, futuristic vibe of the artwork. The image is detailed, with a focus on the woman’s expressive face and the sleek, futuristic design of her outfit.

生成效果如下:

你可能会说,哟这手指怎么还是画不好? 你别忽略了一问题,要想画好手指需要搭配flux版的真实lora模型一块使用。(我为了水一篇文章,懒得再复现)

案例三 未来科幻风人像

参考图像

反推提示词,同样的方法,同样的操作,不再赘述

配置flux环境需要相应的节点支持

controlnet相关:https://github.com/XLabs-AI/x-flux-comfyui

节点安装到custom_nodes下

工作流可参考:https://github.com/ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHO

本地部署相关扩展阅读:https://www.freedidi.com/13266.html

工具很好,真正的价值是使用者,在实际工作流中去解决问题

AI应用案例-SD-饰品手模训练及思考

前段时间看到某个视频博主分享了他的电商AI落地案例,看到讲关于饰品的手模,视频里面展示了一些客户发给他的产品图,然后他经过训练之后能够戴到模特手上。所以,本着好奇我倒推了下,具备一定的可行性。其实,也很简单就是在前期搜集训练集的时候,收集一些手模素材和带了饰品的手模素材两种。然后再搜集某个饰品的多个角度产品图作为训练素材。练成两个LORA,都是基于XL模型训练。两者权重手模模型在0.7、翡翠镯子权重0.5

效果如下:

你可能觉得效果还行,我也觉得效果还凑活。下面展示下镯子前期的训练集素材。

对比后你发现了吗?经过SD训练跑出来的图会出现翡翠的质感失真,一些天然的质感没有了,珠子形状大小不一,数量时多时少。反映出这块如果在面对更复杂工艺的镯子、戒指甚至耳环会出现货不对板的情况。嗯,底层原理决定了它在这块的缺点。

分享下生产界面,供感兴趣的朋友参考:

发现如果开启depth,强度控制在0.4左右能够生成更多戴在手上的效果。
玩归玩。这块个人觉得如果想更好地实现落地效果还是要局部重绘,发挥AI自身的优势,例如更换场景图、换虚拟模特等等。

SD目前针对电商能落地的模特虚拟人、更换场景、优化模特有瑕疵的姿势、修改模特光影、换脸。

如果觉得有用,感谢点个在看,欢迎评论!

关于录制AI游戏图标课程的大体思路框架分享

从事游戏行业6年多,在游戏项目上主要也是绘制游戏相关的道具图标工作。加上23年AI工具的爆发,公司项目上也非常关注,确实在效率上能够提升到30-40%左右,毕竟游戏行业已经是一片红海,争分夺秒。

所以,也有一些小小的经验可以分享。在录制课程之前还要准备一些提纲、前期的模型资料准备方便后期讲起来也方便。

先放出个大体的框架,内容还会增加、调整。如果又有对AI工具新的理解的话就会做一些改动,最终的目的就是能够帮助到大家,对我也有好处。

游戏图标风格模型的训练集筛选思路

定义:游戏图标风格模型包含的图标属性类目多,杂。训练集各个属性数量占比不均衡,在游戏中往往宝箱、宝石、药水瓶、卡券占多数,所以这类风格模型在工作流的运用上通常是用来做风格迁移。

因为训练素材各个占比数量不同,也就导致造型上数量多的在训练轮数增加会被固化,很难通过补充形状的提示词来做造型上的改变。而恰恰因为某些训练素材占比少,轮数增加之后反而能够获得稳定的效果。结论就是风格模型 LoRa 没有绝对的稳定的单一模型,需要依据需求使用不同轮数的模型来做生产。

关于打标

如果是训练风格模型,没必要给各个素材打统一的触发词,应该是将每个素材标按:属性+特征描述 例如:gift box,flower,ribbons,bow,

如果是训练专属某个属性的图标模型,例如头像框则要分析当前头像框的素材造型特征。头像框算是比较简单的造型了,大体上分为对称设计不对称设计两种。所以在打标的时候要加入 symmetry、asymmetrical 两个标签,扯远了……

补充训练集

一个游戏项目的图标资产数量上肯定是有限的,甚至某些数量还不满足训练要求。这时候就要有目的性地去从外部补充素材,筛选风格相似、写实度大体接近的进行补充。

例如上图的书籍图标样式大体类似,通过补充一些其他造型、角度不同的书籍图标来让它更具泛化性,从而满足需求。

例如礼盒图标也是因为训练素材太过单一的缘故,细节造型上缺少一些变化。为了扩充礼盒的泛化能力有目的性地去补充了相关训练素材。

下图是补充后的

例如宝石,原来的宝石也是缺少一些变化,造型上太单一,缺设计感。

补充的素材之后

风格模型的价值在于能够涵盖泛的图标造型,同时继承游戏项目的风格,造型上不追求精确,具备可修改的空间,满足在图标的批量生产中的风格迁移即可。

关于生成的图标出现污染的问题

如图水果冰激凌会出现叶子和面包等类型的元素,是因为打标的时候加入了food这个标签的影响,所以迭代模型的时候可以将相应的素材打标要清理干净,虽然都是食物,但要精细化去打标

没有被打标污染的食物图标

以上图标基础模型:revAnimated_v122EOL 训练而来,训练集数量674

我能分享什么

1.游戏道具图标结合Stable diffusion的高效工作流分享

2.特定需求的结合MJ、ChatGPT的提效方式方法

3.在团队协作中AI美术接口人的职责,沟通方法经验沉淀

4.模型训练和实际运用

当然包括不限于以上工作相关的分享,相信在日后AI工具的发展,会与游戏结合的越来越紧密,对设计师的要求也将越来越高。一起学习,共勉!