Flxu换脸工作流的使用体验

这个换脸流程逻辑简单说一下,使用的是Flux-GGUF的基础模型,依靠提示词生成一个人体姿势,然后再上传一张将要替换的脸部人像,通过face swapfacedetailer两个插件进行交替叠加效果,从而获得真实的换脸操作。有个缺点,目前还没法找到头部以下解决清晰度又能够做到保真的效果。

下面是案例:

韦德换脸

上传图
face swap only 生成
face swap和facedetailer相互叠加

放个大点的工作流可以看到,左下角是上传要换脸的图,左边第1张是文生图。他们相互融合通过插件生成第二张和第三张效果。那这两张有什么差别? 我实际对比发现第三张能够加强脸部的光线处理,立体感更强,脸上的细节会更多。

科比换脸

输入图像
face swap only 生成
face swap和facedetailer相互叠加

这里我适当的将提示词加入了科比的名字,正好因为之前模型有这部分的人像训练,所以才会换脸的精确度更高。你可以发现左边第一张的文生图效果就已经很好了。

贝克汉姆换脸


输入图像
face swap only 生成
face swap和facedetailer相互叠加

发现,它目前替换的还仅仅是脸部这块,头发没有做替换。得要研究下如何将整个脑袋进行替换融合这才是真正换脸,从而达到逼真的问题。

结论:

从换脸的流程来看,faceswap的换脸操作能够稳定替换,但是不够逼真,需要研究遮罩能够覆盖更大的替换范围。

没有一招鲜的方法能够全部通吃,每张图不一样,参数也要适当做修改。

启发:

如何修改这个流程让其仅替换脸部?不用文生图来做底图。上传2张图,1张是将要替换脸部的,另1张是将要被替换脸部的图,身体保留。这样能够做到真实性,避免衣服变形或者字体动态不对。(当然前提是对真实性要求非常高的前提下)

AI应用案例-SD-饰品手模训练及思考

前段时间看到某个视频博主分享了他的电商AI落地案例,看到讲关于饰品的手模,视频里面展示了一些客户发给他的产品图,然后他经过训练之后能够戴到模特手上。所以,本着好奇我倒推了下,具备一定的可行性。其实,也很简单就是在前期搜集训练集的时候,收集一些手模素材和带了饰品的手模素材两种。然后再搜集某个饰品的多个角度产品图作为训练素材。练成两个LORA,都是基于XL模型训练。两者权重手模模型在0.7、翡翠镯子权重0.5

效果如下:

你可能觉得效果还行,我也觉得效果还凑活。下面展示下镯子前期的训练集素材。

对比后你发现了吗?经过SD训练跑出来的图会出现翡翠的质感失真,一些天然的质感没有了,珠子形状大小不一,数量时多时少。反映出这块如果在面对更复杂工艺的镯子、戒指甚至耳环会出现货不对板的情况。嗯,底层原理决定了它在这块的缺点。

分享下生产界面,供感兴趣的朋友参考:

发现如果开启depth,强度控制在0.4左右能够生成更多戴在手上的效果。
玩归玩。这块个人觉得如果想更好地实现落地效果还是要局部重绘,发挥AI自身的优势,例如更换场景图、换虚拟模特等等。

SD目前针对电商能落地的模特虚拟人、更换场景、优化模特有瑕疵的姿势、修改模特光影、换脸。

如果觉得有用,感谢点个在看,欢迎评论!