在进行绘本创作,小说配图等场景中,要求人物的衣着打扮、人物动作和表情不一样,但要求始终是同一个人。如果你仔细看过幼儿绘本,会发现很多角色表情或者形象很不合格,但是小孩子对这种差异性很敏感,很容易辨别出这种差别,我自己就经常被小朋友问到,“为什么这一个小人跟前面的那个不一样”,“为什么这个人的两个眼睛一大一小”,诸如这类问题我只能说设计师画错了。

人工绘图想做到这些不太容易,但AI绘图就比较容易,这里使用到Stable Diffusion 绘图的controlnet的Reference模块实现,具体教程方法:

1、打开Stable Diffusion选择文生图,这里使用的大模型是:麦橘写实大模型v7

图片

2、Controlnet控制单元启用,参考图上传到Controlnet的图片作业区域,如下图界面:

图片

3.预处理器与模型选择Reference only三个预处理器中的一个,并将Style Fidelity值设置为1,如下:

图片

Reference预处理器目前有3个:

图片

Reference only:绘制与参考图类似的风格和脸部;

Reference adain:自适应规范,会更偏向于使用的模型,结果可能偏离参考图;

Reference adain+attn:结合了上述两种

根据需求进行选择,实测Reference only会模仿参考图的脸部和衣服风格,Reference adain主要参考脸部,衣服会根据提示词进行变化

Style Fidelity :风格忠实度,越小越接近使用的大模型的风格,越大越接近参考图的风格,但是越大可能出现图片崩坏的情况,0.5是个平衡值

4、基于参考图的描述词生成图片即可,

图片

我们选择的Reference预处理器是Reference only,Style Fidelity=1做出来的图的效果是不是人脸和原图基本一样,衣服也基本类似。

图片

​ Reference预处理器是Reference adain,Style Fidelity=1做出来的图

我们看图跟原来的脸基本一样,但人物动作和风格都发生变化

图片

Reference预处理器是Reference adain+attn,Style Fidelity=1做出来的图

5、如需变换场景或细节例如发型等,可在正面提示词中调整,不会影响人脸。

更换背景,正向提示词增加公园背景,提示词权重要高一些,否则不容易扭转过来:

图片

图片

我们看背景更改为公园的背景。

6、如果使用的大模型和参考的图风格不一样,人脸的形态、原图的背景、原图的色彩搭配等会被迁移到新生成的图片中。

图片

人脸有些二次元的风格

Style Fidelity调整到0.1,让更接近二次元模型的风格:

图片

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述
这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐