在数字图像处理领域,背景替换作为一项基础而关键的技术,长期面临着透视匹配、光影融合等技术难点。传统基于Photoshop的解决方案存在三大核心挑战:首先是透视关系的精确校正,其次是环境光照的自然模拟,最后是边缘细节的完美融合,这些因素共同导致制作周期长、专业门槛高的问题。

而基于ComfyUI的AI技术方案,通过深度学习算法实现了:
1)自动透视校正
2)智能光影匹配
3)精准边缘融合
大幅提升了背景替换的效率与质量。如图所示案例展示了该技术的实际应用效果,接下来我们将详细解析其技术实现路径:

img

img

img

无论是产品还是人物,都可以轻松实现一键抠图换背景,那这个工作流程如何在ComfyUI里搭建呢?

动手之前先动脑,首先分析我们需要解决什么问题:

\1. 抠出产品/人物

\2. 采样重绘背景

然后针对问题寻找解决路径,以下的几款插件也许可以帮助我们实现目标:

1.智能抠图:Grounding Dino+SAM Segment

img

G-Dino+SAM Segment可以非常便捷地实现智能抠图。在G-DinoSAM语义分割“提示词”处输入不同的描述词,就能抠出不同的部分。

例如输入“a bottle”,得到了中间的瓶子:

img

或者输入“leaf”,所有的叶子就被抠出来了:

img

我们配合“遮罩反转”节点,获取到背景蒙版。

img

2.局部重绘:BrushNet

BrushNet是一种基于扩散的文本引导图像修复模型,号称最强局部重绘神器。

img

BrushNet节点参数属性说明:

  • 模型:连接大模型
  • VAE:连接vae
  • 图像:连接初始图片
  • 遮罩:连接遮罩,只重绘遮罩范围
  • brushnet:选择模型,有4种
  • 正面条件:正面提示词
  • 负面条件:负面提示词
  • 缩放:BrushNet 的"强度",默认是 1,强度越大,对出图影响越大;越小就影响越小。
  • 开始引导步数:指从哪一步开始影响图片的生成。
  • 结束引导步数:指从哪一步结束影响图片的生成。

除了可以局部重绘,BrushNet还可以干这些事情:

  • 混合修补
  • 扩图
  • 删除指定元素
  • 更改背景
  • 大图修复
  • 图片批量处理

一个插件满足多种功能,BrushNet值得我们好好研究。

这个节点使用非常简单,把它挂载在KSampler的前面,它右边的输出接口,与KSampler的输入端口一一对接。

img

3.控制关键特征:ControlNet

别忘了加上ControlNet来保持产品/人物的关键识别特征。

现在我们把核心节点都添加到界面上:

img

每个节点都是一块积木,需要以正确的方式拼在一起。看,补充一些辅助节点后,一个抠图换背景的工作流就搭建出来了。

img

最后我们来整理一下节点:

img

经过前面的分析,对于这个工作流我们就很好理解了:

  • 首先加载一张图片
  • 通过G-DinoSam语义分割节点获取产品/人物的蒙版
  • 通过遮罩反转节点反转蒙版
  • 将蒙版传输给Brushnet
  • 加载Checkpoint和lora确定风格效果
  • 输入你想要的场景作为提示词
  • 结合ControlNet控制产品/人物关键识别特征

这份完整版的comfyui工作流整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费在这里插入图片描述
为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取在这里插入图片描述

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐