前言:

前面我们介绍了如何线稿上色,感觉如何?

本文会主要介绍在ControlNet中如何生成涂鸦效果。通过随笔简单的勾勒出来一个轮廓图形,类似和边缘检测形成得到的物件轮廓图,再用RA/SD填充颜色和内容,形成实体图。

知识点:

  1. scribble涂鸦

更多资源进 2img.ai ,更多技术资料请扫码

基础官方知识:

用涂鸦控制稳定扩散。

模型文件:control_v11p_sd15_scribble.pth

配置文件:control_v11p_sd15_scribble.yaml

训练数据:合成的涂鸦。

可接受的预处理器:合成的涂鸦(Scribble_HED、Scribble_PIDI 等)或手绘的涂鸦。

图像

下图中,通过简单的样条图,生成了丰富的图片。

这个功能和Nvidia的Canvas产品有点类型。不过更加强大。

实战

Scribble 涂鸦,也可称作 Sketch 草图,同样是一款手绘效果的控图类型,但它检测生成的预处理图更像是蜡笔涂鸦的线稿,在控图效果上更加自由。

Scribble会更大范围的获取物体的一个粗狂轮廓。

和Canny这种线框边缘的对比如下

3种效果的比较

根据草图生成了真人。

这里,随便画了山和河流,后侧还是试图生成对应的人物。确实有作用。不过要和模型配对。

RA/SD 衍生者AI训练营

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐