01.

SDXL的两个大模型:base基础大模型和refiner精修大模型。

可以单独使用base基础模型生成图像,如果想要图像更精美,可以加入refiner精修模型。

SDXL base基础工作流搭建

和SD15很像,Checkpoint模型加载器,选择SDXL的base基础大模型。

K采样器换成K采样器(高级)。

基础模型base和精修模型refiner都自带VAE,所以不用单独加载VAE。

SD15的尺寸只能512,SDXL的尺寸可以到1024 * 1024。

图片

02.

采样器(高级)和K采样器的区别

多了添加噪波和返回噪波。

降噪变成开始降噪步数和结束降噪步数。

添加噪波:要不要将随机种的噪波添加到空Latent。正常是要的,才可以通过不同的种子值,得到不同的图像。禁用,得到的就是一个空白画板。

开始降噪步数:0,表示从一开始就降噪。

结束降噪步数:可以无限大。比如步数为20,结束降噪步数为12,则从0-12步开始降噪,之后剩下的8步不会采样,即图像去噪不完全。

返回噪波:启用的话,会把剩下的噪声,返回到图像上。禁用,就是剩下的噪声,不用返回图像上了,采样成什么样就是什么样。

图片

03.

refiner精修工作流搭建

通过SDXL基础模型生成的图像进行精修。

复制一份base基础工作流,模型换成refiner模型。

基础模型需要返回噪波,让精修模型继续进行后面的采样。

图片

基础模型输出一张带有噪波的图像给精修模型的Latent。

精修模型不需要再添加噪波了,因为基础模型已经给了。所以精修模型的添加噪波关闭

此时精修模型的随机种没有意义,它的噪波全部来源于基础模型。(如果需要切换种子值来切换图像,在基础模型部分切换就行)

refiner精修模型的开始降噪步数:前面基础模型的结束降噪步数。如果base模型的结束降噪是20,那refiner的开始降噪就是20。

refiner精修模型的结束降噪步数:需要大于或等于总步数。比如总步数是30,结束降噪步数可以是30,也可以是100,但不能小于30,会采样不完全。

返回噪波关闭,采样全部在精修模型里处理好了。采样结束是什么样就返回什么样,噪波不用加回去了。

图片

同样的步数,单独base出图和加上refiner出图对比。

图片

也可以尝试高阶采样器,步数需要调高到50步。

04.

SDXL生成的图像对比SD15,在美学和质量上有很大的改进。

其他更具体的,自行探索吧。

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐