草稿秒变3A大作!Stable Diffusion零基础垫图全流程:ControlNet+LoRA实战,手残党也能日更百图
本文详解Stable Diffusion零基础垫图全流程,从ControlNet安装配置,到LoRA模型训练应用,手把手教你将草稿变为高质量插画。即使零基础,也能轻松上手,日更百图不是梦,快来一起探索吧!
本文详解Stable Diffusion零基础垫图全流程,从ControlNet安装配置,到LoRA模型训练应用,手把手教你将草稿变为高质量插画。即使零基础,也能轻松上手,日更百图不是梦,快来一起探索吧!
画面情况:沙滩、海洋、狗、男孩、遮阳伞
初始提示词:
storybook style, 8k, realistic, strong sharp, highlights, obvious refraction, icons, Crystal style, A boy and his dog are on the beach by the ocean, with colorful umbrella dotting the sandy shore, beach chair under the umberella
本文基本操作不再赘述,参数自调,起步用默认,好了,废话不多说,直接上流程:
一、草稿
• 找个顺手的绘图软件,画一个男孩、狗、遮阳伞、沙滩和海洋,利用stable diffusion的图生图功能出图。如果你是画师,画好线稿基本就能出好图了,而我们这种技术人员,只能想尽办法来出图了~~

👉AI绘画必备工具👈

**温馨提示:篇幅有限,已打包文件夹
这份完整版的AI新手入门资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

• 出图后感觉sd好像没理解什么是海洋,给了滩涂或者退潮后的状态。

• 在画图软件里把海洋给填满了。

• 再出图

• 漂亮是漂亮了,但和草稿的差距大了点,也太随心所欲了~~ 修改提示词,明确人物、狗和伞,明确沙滩和海洋的位置。
((storybook style)),8k, realistic, strong sharp, highlights, obvious refraction, boy running on beach, one brown dog running on beach, beach on the left, ocean on the right, a umbrella on the beach, a beach chair under the umbrella, yellow beach, blue ocean, colorful,

• 现在有点意思了,结构对了。那么再加强一下人物、狗、伞的描述。
((storybook style)),8k, realistic, strong sharp, highlights, obvious refraction, ((boy running on beach)), ((one brown dog running on beach)), beach on the left, ocean on the right, ((a umbrella on the beach)), a beach chair under the umbrella, yellow beach, blue ocean, colorful,

• 选一张图进入下一步。

二、局部重绘
用stable diffusion的局部重绘功能进行部分元素的微调。
• 这只猪太不象狗了,先改一下

dog
出图

• 再修改人物,顺带一下狗子看看。
boy with black hair and blue shirt and red pants and sports shoes running
出图后选一张

• 去掉几个挖沙狗
doll

从儿童画角度来说,剩下用个绘图软件把沙滩填个色就完成任务了~~
这份完整版的AI新手入门资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

三、修改风格及细节
我们现在要提高一下这个绘本的绘画质量~~,成人感强一点
- • 先利用controlnet界定好全图的边缘和人物动作 这一步很重要,否则每次出图画面难以保持一致性。

((photo style)),8k, realistic, strong sharp, highlights, obvious refraction, ((boy running on beach)), ((one brown dog running on beach)), beach on the left, ocean on the right, ((a umbrella on the beach)), a beach chair under the umbrella, yellow beach, blue ocean, colorful,

再利用图生图模式微调一下色彩等大结构

• 下一步将对此图进行精修。利用局部重绘功能,对人、狗、伞、沙滩,分别进行细化,操作方法与之前的局部重绘一样。
注意 如果希望修改的元素与其他元素关系不大,则重绘区域尽量使用 仅蒙版,比如人物、狗、伞,这样能更精细的绘画,否则显卡算力显存不够的话,很可能导致最后爆卡或出图扭曲。
如果修改的元素与其他元素关系较大,那么重绘区域就需要选择为全图;
边缘预留像素 给蒙版外部更多噪点,在生成图片的时候更具参考性,比如这里的狗腿在海里,成图可能就会出现波纹~;
蒙版模糊控制蒙版区域和非蒙版区域的过渡是和谐还是生硬;
为了防止sd想象力超界,记得用controlnet的边缘功能进行约束;
很多参数,例如重绘幅度(Denoising)等根据实际需要单独调整。

- • 改狗 为了纪念我的
\**Tony\**,特意改为腊肠犬。
((photo style)),8k, realistic, strong sharp, highlights, obvious refraction, ((1dachshund running on beach))

改人物
((photo style)),8k, realistic, strong sharp, highlights, obvious refraction, ((boy with black hair and blue shirt and red pants and sports shoes running on beach)),

- • 改伞
((photo style)),8k, realistic, strong sharp, highlights, obvious refraction,((a beach umbrella on the beach)) is colorful, shadow, yellow beach, colorful,

- • 改海洋
((photo style)),8k, realistic, strong sharp, highlights, obvious refraction, boy's reflection on sea, dachshund's reflection on sea, ((beach on the left)), ((ocean on the right)),yellow beach, blue ocean, ((calm sea)),

这一步修改了多次都没有满意的,直到这次直出30张~~终于有那么几张入眼的了。

挑一张勉强可以的,但狗的倒影并不好(谢幕后有终图彩蛋),或许是提示我的 \**Tony\** 已不在这个世界了吧~~

四、其它工具
photoshop等绘图软件的基本能力还是需要有一点的,比如这张图,AI出的几十张图中终于有一张带点感觉的了,但你不会修,也是不能用的。

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

这份完整版的AIGC全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)