AI之路 | ComfyUI_009. SDXL文生图 base基础模型 + refiner精修模型(评论区附工作流)
AI之路 | ComfyUI_009. SDXL文生图 base基础模型 + refiner精修模型(评论区附工作流)
01.
SDXL的两个大模型:base基础大模型和refiner精修大模型。
可以单独使用base基础模型生成图像,如果想要图像更精美,可以加入refiner精修模型。
SDXL base基础工作流搭建:
和SD15很像,Checkpoint模型加载器,选择SDXL的base基础大模型。
K采样器换成K采样器(高级)。
基础模型base和精修模型refiner都自带VAE,所以不用单独加载VAE。
SD15的尺寸只能512,SDXL的尺寸可以到1024 * 1024。

02.
采样器(高级)和K采样器的区别:
多了添加噪波和返回噪波。
降噪变成开始降噪步数和结束降噪步数。
添加噪波:要不要将随机种的噪波添加到空Latent。正常是要的,才可以通过不同的种子值,得到不同的图像。禁用,得到的就是一个空白画板。
开始降噪步数:0,表示从一开始就降噪。
结束降噪步数:可以无限大。比如步数为20,结束降噪步数为12,则从0-12步开始降噪,之后剩下的8步不会采样,即图像去噪不完全。
返回噪波:启用的话,会把剩下的噪声,返回到图像上。禁用,就是剩下的噪声,不用返回图像上了,采样成什么样就是什么样。

03.
refiner精修工作流搭建:
通过SDXL基础模型生成的图像进行精修。
复制一份base基础工作流,模型换成refiner模型。
基础模型需要返回噪波,让精修模型继续进行后面的采样。

基础模型输出一张带有噪波的图像给精修模型的Latent。
精修模型不需要再添加噪波了,因为基础模型已经给了。所以精修模型的添加噪波关闭。
此时精修模型的随机种没有意义,它的噪波全部来源于基础模型。(如果需要切换种子值来切换图像,在基础模型部分切换就行)
refiner精修模型的开始降噪步数:前面基础模型的结束降噪步数。如果base模型的结束降噪是20,那refiner的开始降噪就是20。
refiner精修模型的结束降噪步数:需要大于或等于总步数。比如总步数是30,结束降噪步数可以是30,也可以是100,但不能小于30,会采样不完全。
返回噪波关闭,采样全部在精修模型里处理好了。采样结束是什么样就返回什么样,噪波不用加回去了。

同样的步数,单独base出图和加上refiner出图对比。

也可以尝试高阶采样器,步数需要调高到50步。
04.
SDXL生成的图像对比SD15,在美学和质量上有很大的改进。
其他更具体的,自行探索吧。
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …

二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …

三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …

四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …

五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …

六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)