千呼万唤始出来!WebUI的ControlNet1.1.4版本终于更新,这次的更新支持了SDXL1.0的模型。我怀着兴奋的心情,打开了网站开始下载模型。这次总共出了四种控制类型,分别是Canny、Depth、Sketch和Openpose。
在这里插入图片描述

来到Hugging
Face的网址:https://huggingface.co/lllyasviel/sd_control_collection/tree/main。可以看到这里有相当多的模型,当然,我们不需要全部都下载下来,因为它们之间有很多功能是重复的,是不同的作者做出来的。

在这里插入图片描述

但是呢,为了帮你们提前踩雷,我把他们全部都下载了,而且逐个做了测试,看到我这么辛苦的份上,你们一定会要给我一个“点赞”和“在看”的吧。

在这里插入图片描述

接下来,让我们来分类看一下吧。

#Canny硬边缘

首先是canny,它有几个不同的型号,体积越大,速度越慢。

在这里插入图片描述

我使用的是4080ti的笔记本进行的测试,12G显存。

  • 模型sdxl base+refiner

  • 提示词:masterpiece,best quality,1girl

  • 采样方法:euler a

  • 尺寸1024*1024

在这里插入图片描述

使用diffusers的2.5Gfull模型绘制的图片,一张图花了2分57秒,从这个效率上来看,这个大尺寸基本可以弃了。

在这里插入图片描述

使用diffusers的320Mb的small模型,用时34s,质量上差距不大,主要是时间优势很明显。

在这里插入图片描述

我们可以再看看其他作者的,这张是kohya的,用时33秒,更接近真实质感。

在这里插入图片描述

sai的canny分为128lora和256lora,分别用时39秒和1分08秒,这个模型比较偏绘画的感觉。

在这里插入图片描述

在这里插入图片描述

最后还有一个t2i的canny模型,用时34s,也是偏插画一点。

在这里插入图片描述

你们觉得哪个效果更好呢?时间上基本都在30秒以上,如果关掉refiner的话,能节省一半左右的时间,平均在17秒左右。

#Depth深度

接下来测试一些depth模型,图形尺寸664*1024。

在这里插入图片描述

使用diffusers的full模型,用时2分48秒,sdxl给我随机到了一个拼贴画的风格。

在这里插入图片描述

使用diffusers的small模型,用时23s。

在这里插入图片描述

使用kohya模型,用时42秒。这……好像和我的图片没什么关系。

在这里插入图片描述

使用sai模型,用时1分12秒,画质还可以,稍微有点慢。

在这里插入图片描述

Sketch草图

接下来测试一下sketch模型,画一只可爱的小猫,图形尺寸1024*624。

在这里插入图片描述

使用kohya模型,用时30秒,这是个啥???

在这里插入图片描述

使用sai模型,没找到小猫具体的位置,用时32秒,画质还可以。

在这里插入图片描述

使用t2i模型,用时28秒,唯一一个准的。

在这里插入图片描述

Openpose骨架

最后测试一下openpose模型,图形尺寸1024*624。

在这里插入图片描述

使用kohya模型,画很好看,但姿势不对,用时40秒。

在这里插入图片描述

写这篇文章的初衷,网上的Stable Diffusion教程太多了,但是我真正去学的时候发现,没有找到一个对小白友好的,被各种复杂的参数、模型的专业词汇劝退。

所以在我学了之后,给大家带来了腾讯出品的Stable Diffusion新手入门手册

希望能帮助完全0基础的小白入门,即使是完全没有代码能力和手绘能力的设计师也可以完全学得会。

软件从来不应该是设计师的限制,设计师真正的门槛是审美。

需要完整版的朋友,戳下面卡片即可直接免费领取了!

目录

img

  • 硬件要求
  • 环境部署
  • 手动部署
  • 整合包

img

  • 文生图最简流程
  • 提示词
  • 提示词内容
  • 提示词语法
  • 提示词模板

img

  • Controlnet
  • 可用预处理/模型
  • 多ControlNet合成

img

  • 模型下载
  • 模型安装
  • 模型训练

img

  • 训练流程
  • 风格训练
  • 人物训练

需要完整版的朋友,戳下面卡片即可直接免费领取了!请添加图片描述

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐