【Stable Diffusion】文生图超详参数使用技巧和方法推荐

仁者见仁,智者见智,一千个读者,一千个哈姆雷特。
此章为记录学习和分享,为后继初学者提供便利。

虽然全文字,但是都是精华通识。

一、介绍:

AI:我翻译为模拟学习

简称SD:稳定扩散模型

关键词:tag

1.checkpoints:CKPT:大模型(底膜):心脏

作用:定义出图风格

大小:2-10GB

类型:safetensors/ckpt尾缀

safetensors/ckpt/bin/pt都是模型数据

safetensors=ckpt

safetensors(更安全)

2.示例大模型(底膜):

anything:动漫风

v1-5-pruned:欧美风

chilloutmix:亚洲风

3.VAE:变分自编码器

作用:增加图片饱和度,降低灰度,更有色彩

(滤镜+微调)(灰蒙->鲜艳)

4.Clip skip:语言与图片对比预训练,让tag与图片建立关系(反比例)

让语言和图像建立关系

(SD数据库里的处理模块)

数值高,tag与图片关系会低。

数值低,tag与图片关系会高。

可选(1~4)

5.描述内容(人物例子)

主体,表情,服装,场景,环境,

镜头,灯光,风格,画质,渲染器

6.提示词书写格式

基础内容

英文

单词

1girl, cute, drinking, smiling

词组

1 cute girl, drinking cocktail, smiling face

短句(推荐)

1 cute girl drinking cocktail while smiling

可以随意换行,每一行的结尾最好也加上逗号

6.1分割

tag间要以英文的逗号分割

sexy lady, eating bread, smiling face

提示词靠前的,会优先考虑权重,可把重要的元素,如风格置前

6.2权重

权重的作用:增强或者是减弱某些你想或者不想出现的元素

调整权重方式:

第一种:括号法则

(dog)= 增强1.1倍

((dog))= 增强1.1 x 1.1倍

{dog} = 增强1.05倍

{{dog}} = 增强1.05 x 1.05倍

[dog] = 减弱1.1倍

[[dog]] = 减弱1.1 x 1.1倍

第二种:数字法则(>1就是增加 <1就是减少,默认是1)

(dog:1.34) = dog 权重= 1 x 1.34倍

(dog:0.7) = dog 权重=1 x 0.7倍

权重建议:

不推荐把数字调的太高或者太低,范围可设在0.5-1.6之间,否则画面可能崩坏

6.3.混合

AND大法

pig AND dog

[|]大法

[pig|dog]

交替算法,13579渲染pig 246810渲染dog

6.4.渐变

[tag1:tag2:x]

[cloud:sun:15]

前15步渲染cloud,后面所有步数渲染sun

7.负面提示词(Negative Prompt)

想要的元素放到Positive Prompt

不想要的元素放到 Negative Prompt里

常用负面提示词

NSFW

(this one is optional you know what I mean)

低质量:low quality,lowres,low resolution, noise

色调单一:monochorome,grayscale

身体特征:missing part, bad proportions, ugly

身体部位:extra hands,extra fingers,missing hands

8.emdding:嵌入or文本转换:

作用:提示词打包(还原人物特征)

9.Lora:大模型语言的低阶适应(相对大模型的微调)

LoRa,改变画面风格和面部的小模型

风格渲染(小人书风,光头强脸,动作特征,图片),挂载可复刻指定人物特征

可以(权重<1,可0.4-0.8左右),新手少混用lora,或者考虑混用lora的总权重和为1。

lora显示图片:

保存图片一放入LoRa文件夹-> 更改名称与模型名称相同

确保是png or jpg格式

10.国内lora模型下载网站:https://www.liblib.ai.com

全球最大模型交流网站:C站

11.hypernetworks:超网络

给模型做细小的微调,用得少

作用:指定画风,训练画风(表情包,像素风)

建议权重(0.8-1.0)

12.正向提示词:写想出现的元素tag

13.反向提示词:写不想出现的元素tag

14.steps:迭代步数(越大越慢,显存压力)

可设(20-40)

采样步数:可设(20-40)

高,细节多,渲染慢。低,细节少,渲染快。

15.采样器:

karras:去噪快

可选 DPM++ SDE或2M karras

16.采样步数(Sampling steps)

越高画面会细节越多

不同方式有不一样的步数推荐

需测试跑图效果,范围一般在15-40

17.勾选选项

面部修复(Restore face)

实际用处有限

生成写实人物图可勾选

二次元人物根据情况勾选

17.1.无缝贴图 (Tiling)

不做平铺壁纸背景不建议勾选

17.2.高分辨率修复(Hires fix)

需要显存

17.3.放大算法 图生图

越高越清晰

图片尺寸

越高越清晰

不建议太高 易爆显存 并且速度会慢

初稿不需要调太高,清晰度可后期处理

17.4.批量出图

生成次数 (Batch count)

一个一个生成x张图

显存低的用这个,以时间出图

17.5每次数量(Batch size)

同时生成x张图

以显存追求速度出图

18.提示词引导度(CFG Scale)

数值越高图片越会和提示词相似

数值越低AI的想象力就会多一些

数值0-1 图片容易出错

数值2-6时AI的想象力就很丰富

数值7-12 推荐阈值

大于15图片容易崩坏

19.重绘幅度(denoising scale)

越低越和原图相似

越高越和原图没有关系

20.随机种子(Seed)

用于控制出图的风格

默认seed = -1 生成的图片种子数值会完全随机,抽卡

按筛子按钮可以快速调味-1

= 某个特定值

风格就会和seed相似

按回收循环按钮可以快速copy上一张图的种子

21.差异随机种子

让两个种子做结合

差异强度越高图片越像差异种子的数值

差异强度越低图片越像种子的数值

差异强度放中间=两个种子的结合

22.宽度高度

512512的图片构图结构为768768

【Stable Diffusion】预设和脚本超详细使用教程和实用技巧:

23.脚本

23.1提示词矩阵(Prompt matrix)

以 | 分割

在想看不同关键词元素的情况下使用

e.g. 必用的提示词|想改的提示词1|想改的提示词2|…

a cute pig | studio lighting | oil painting

a cute pig

a cute pig, stuidio lighting

a cute pig, stuidio lighting, oil painting

night village | warm light | soft light | stuidio lighting | cinematic lighting

a cute pig, oil painting

Prompt from file or textbox

在多个不同关键词不同的参数下渲染图时使用

每行放一张图片的prompt

以–prompt开头并以""括住,不同参数用–作为开头 空格作为分割

参数写法

“prompt”

“negative_prompt”

“sd_model”

“width”

“height”

“sampler_index”

“sampler_name”

“batch_size”

“batch_count”

“steps”

cfg_scale

“restore_faces”

“tiling”

“seed”

“do_not_save_samples”

“do_not_save_grid”

“outpath_grids”

“styles”

例子

–prompt “handsome man smoking a cigar” --negative_prompt “NSFW, yellow hair, straight hair” --steps 28

–prompt “shinning lady in the hall” --width 768 – height 768

–prmopt “fat dog in the garden” --seed 884488449 --sampler_name “Eular a”

23.2 XYZ图表(XYZ plot)

在想看到不同参数与其他参数做对比情况下使用

用法

每张增加1个步数

6-12 = 6,7,8,9,10,11,12

每张增加/减少x步数

2-8 (+2) = 2,4,6,8

9-3 (-2) = 9,7,5,3

2-4 (+0.5) = 2,2.5,3,3.5,4

规定范围内出x张图(平均分)

2-10 [3] = 2,6,10

在风云变换,更新迭代的时代,如果你有兴趣,

再不学就被时代落伍了哟!

学习AI,拥抱AI

分享AI,掌握AI

学为啥:

①兴趣,②:工作帮助,③提高收入

AI时代,解放生产力

人群:多男,学历多本科以上。

行业冲击:多美术从业(插画,2D数媒,影视,动画,环设(室内)服设(换装))

AI绘画付费意愿>52%

未来展望:拥抱新生产力,解放AI时代生产力,拥抱AI,拥抱未来

克服困难:版权,伦理,AI恐惧,滥用行为,传播不良。

商业价值:模特换装、穿上产品

AI绘画平台(比较):

midjournery:收费(50-60/month)

Dell-e-2

Adobe-Firefly:(888/year)

Stable-Diffusion

SD优点:

①:开源免费

②:社群面广

③:本地部署,安全

④:无审核

⑤:高能拓展

⑥:内容无限制

缺点:

①:电脑配置高(显存,显卡,内存)

②:操作需要学习(参数,权重)

做什么用途(未来)

落地应用:

1.线稿生成

2.风格转变-风格迁移

3.三视图(表情)

4.产品设计(轮廓不变)

5.辅助设计

6.建筑设计

7.室内设计(家居部署)

8.小图无损放大(高清锐化)

9.数字人定制(动作,衣服,背景)

10.AI换脸(口红,表情,脸部动作)

11.视频转换

12.鞋子上身

13.产品上身

14.包包上身(模特)

15.模特换衣(简单,颜色,形状,条纹)

16.logo设计

这是一位SD资深大神整理的,100款Stable Diffusion超实用插件,涵盖目前几乎所有的,主流插件需求。

全文超过4000字。

我把它们整理成更适合大家下载安装的【压缩包】,无需梯子,并根据具体的内容,拆解成一二级目录,以方便大家查阅使用。

单单排版就差不多花费1个小时。

希望能让大家在使用Stable Diffusion工具时,可以更好、更快的获得自己想要的答案,以上。

如果感觉有用,帮忙点个支持,谢谢了。

想要原版100款插件整合包的小伙伴,可以来点击下方插件直接免费获取

img

100款Stable Diffusion插件:

面部&手部修复插件:After Detailer

在我们出图的时候,最头疼的就是出的图哪有满意,就是手部经常崩坏。只要放到 ControlNet 里面再修复。

现在我们只需要在出图的时候启动 Adetailer 就可以很大程度上修复脸部和手部的崩坏问题

img

AI换脸插件:sd-webui-roop

换脸插件,只需要提供一张照片,就可以将一张脸替换到另一个人物上,这在娱乐和创作中非常受欢迎。

img

模型预设管理器:Model Preset Manager

这个插件可以轻松的创建、组织和共享模型预设。有了这个功能,就不再需要记住每个模型的最佳 cfg_scale、实现卡通或现实风格的特定触发词,或者为特定图像类型产生令人印象深刻的结果的设置!

img

现代主题:Lobe Theme

已经被赞爆的现代化 Web UI 主题。相比传统的 Web UI 体验性大大加强。

img

提示词自动补齐插件:Tag Complete

使用这个插件可以直接输入中文,调取对应的英文提示词。并且能够根据未写完的英文提示词提供补全选项,在键盘上按↓箭头选择,按 enter 键选中

img

提示词翻译插件:sd-webui-bilingual-localization

这个插件提供双语翻译功能,使得界面可以支持两种语言,对于双语用户来说是一个很有用的功能。

img

提示词库:sd-webui-oldsix-prompt

提供提示词功能,可能帮助用户更好地指导图像生成的方向。

上千个提示词,无需英文基础快速输入提示词,该词库还在不断更新。

以后再也不担心英文写出不卡住思路了!

img

由于篇幅原因,有需要完整版Stable Diffusion插件库的小伙伴,点击下方插件即可免费领取

在这里插入图片描述

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐