前言

一、SD主流 UI

StableDiffusion(SD)因为其开源特性,有着较高的受欢迎程度,并且基于SD的开源社区及教程、插件等,都是所有工具里最多的。基于SD,有不同的操作界面,可以理解为一个工具的不同客户端。WebUI和ComfyUI是两种较为流行的操作界面选项

  1. WebUI

优点 :界面友好,插件丰富,新手小白基本也能秒上手

缺点 :吃显存,对配置要求较高,出图较慢

  1. ComfyUI

优点 :性能好,速度快,支持工作流的导入导出分享,对小显存友好(GPU小于3G以下依然可以工作),基于工作流,对出图逻辑理解更清晰

缺点 :对新手用户不太友好,有一定学习成本

二者各有优缺点,根据自身情况选择即可。

我为什么选择Comfyui?

Comfyui的热度持续上升,在谷歌搜索上,有越来越多的人开始关注Comfyui。为什么会有越来越多的人关注?因为大家使用webui久了之后,发现很难对生成过程有完全的控制,或者一张图片的生产不是点击几下就能完成的,它有很多到工序:主体、配景、背景、风格、文字、特效等等各种各样的细节问题需要去控制,如果全部采用webui,操作起来非常麻烦,全部需要反复手工(尤其是要守在电脑前一个个去操作),而采用Comfyui,搭建完工作流程后,只需要点击运行,即可全流程自动完成。

二、ComfyUI 能干啥?

  1. 1. 基础文生图
    
  2. 2. 基础图生图
    
  3. 3. 真人转动漫/动漫转真人
    
  4. 4. 线稿上色
    
  5. 5. 老旧照片修复
    
  6. 6. 隐藏艺术字
    
  7. 7. 改变人物姿态
    
  8. 8. 四维彩超宝宝长相预测
    
  9. 9. 红包封面
    
  10. 10. 真人电子AI写真定制
    
  11. 11. 赛博朋克风格转换
    
  12. 12. 专属表情包
    
  13. 13. 手机壁纸
    
  14. 14. 更多:这里不一一举例了,类似的玩法在网上可以看到很多,ComfyUI只是一个工具,具体如何应用,就要依靠自身的想象力了

SVD图文转视频的效果展示

ComfyUI 安装方式

1.在b 站或后期圈gzh 下载整合包完成后然后解压。

使用的磁盘最好有20g以上的空间,因为再下载一些模型还是比较占用磁盘空间的。

“A绘世启动器.exe”文件即为一键启动文件,可以先不启动,先下载好模型。

下载模型,或者和webui共用模型 模型文件通常以.safetensors结尾。

首先将comfy
ui根目录下的“extra_model_paths.yaml.example”文件重命名为“extra_model_paths.yaml”。

然后将base_path:后面改为你的webui目录:

点击“A绘世启动器.exe”。启动后软件会自动更新一些文件,一般不会很久。

然后点击右下角的“一键启动”,第一次启动,可能比较慢,等一会即可,启动完成会自动打开浏览器。如果使用过程中遇到问题,可以查看左下角“控制台”页面里的日志。

设置中文 第一次打开如果是英文,可以设置一下语言。先点击小齿轮,进入设置页面:

然后滑到最下面,找到:AGLTranslation-langualge选项,改为中文即可。

ComfyUI 工作流基础教程

No.1

文生图工作流

原理简介

1、首先将prompt文本 转换为词特征向量

2、词特征向量随机图向量 一起encode降维输入潜空间 ,进行屡次降噪

输出图 = 输入图 -【(根据prompt预测的噪声+根据随机图预测的噪声-根据随机图预测的噪声)* 权重系数 +根据随机图预测的噪声】* 降噪次数

3、输出数据decode

在软件中,已经内置了许多工作流模版,下图对文生图作为基础工作流的各模块进行一个简单介绍。

下图中工作流对应文生图原理,根据Base Model生成词特征向量和随机图进行解码、屡次降噪、并编码生成图片。

ComfyUI 文生图基本工作流

提示词撰写

写提示词需要注意,长度约60字,SD的提示词不像自然语言生图的工具直接组织为句子输入,输入形式为关键词排列,越关键的越靠前,或使用权重设置如(keyword:1.4)提高权重;(keyword:0.7)降低权重

Prompt内容一般包含

  • 主体

  • 环境(地点,灯光,天气)

  • 作画形式(油画、水粉、素描、相机……)

  • 风格(年代、人物、艺术类型、国家……)

其他注意事项

  • 构图建议使用图生图

  • 在prompt中使用别人训练好的embedding模型可以生成特定的视觉特征(某特定人物、某物种……)

embedding:filename

尺寸设置

宽和高必须是8的倍数,Batch_size决定了一次生成多少张图像(可能影响速度,建议一次一张)

尺寸设置参数

采样器参数设置

(参数设置可以参考模型作者提供的最佳方案)

**Seed:**随机种子数,这个数字控制每次生成的图片相似程度,图片需要保持一致的时候,该数字不变

Control-after-generated:

生成完之后种子数的变化情况设置

**Step:**降噪步数

CFG :Prompt权重系数(一般6-8)

**Sampler-name:**采样器名称

**Scheduler:**调度器名称(降噪)

**Denoise:**初始噪声(文生图一般为1)

Lora配置

添加lora模块,更改clip、model连线,更换作者推荐的Vae模块等其他参数

添加模块

启动

此时设置完所有的模型和参数,按照教程的参数设置运行后依然会发现出图很糊,据说M系列Mac容易遇到该问题,根据教程,在终端pip安装
torchvision==0.16.2,成功解决该问题。

打开终端进行pip安装,输入 torchvision==0.16.2

解决图片输出模糊的问题

No.2

图生图工作流

方法一:重绘 - 基于输入图进行重新绘制

输入图代替随机图,和文字一起作为潜空间的输入。

方法二:参考 - 基于输入图参考进行内容补充(unCLIP)、风格迁移(Style)拓展

先对图文进行解码,然后和随机图一起输入潜空间

unCLIP model workflow

对于unCLIP重绘方式,可以直接使用模版搭好的工作流,其中增加了上图所示三个模块,并将初始CheckpointLoader、对应的unclip模型进行替换(模型:sd2.1-unclip,
对应随机图尺寸 768 * 768)

当使用两张图进行元素融合,可以看到结果大致实现将鸭子和水波元素进行了混合,但与预期效果差距较大,但融合的元素难以控制,若要提高符合预期的质量仍然需要进行更多的参数调整。

初始输入图片高度调整为768 跑unCLIP工作流

Style model workflow

风格迁移工作流中则需要将上传的图片编码为向量、理解风格、理解提示词,通过Style节点处理后导入采样器,一般为名画、人物雕塑类。

跑Style Model Workflow

此处使用了新海城画风的图片输入,整体而言,风格更加依赖模型,同样参数下,模型AnythingElse为二次元专用生成了左边的效果,DreamShaper为写实风生成了右边的效果,输出图风格更多与模型风格、prompt内容更相关,与上传的风格迁移的参考图片关系不大。

AnythingElse(左),DreamShaper(右)

针对各位AIGC初学者,这里列举了一条完整的学习计划,感兴趣的可以阅读看看,希望对你的学习之路有所帮助,废话不多说,进入正题:

目标应该是这样的:

第一阶段(30天):AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识,同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

  • GPT的定义与概述
  • GPT与其他AI对比区别
  • GPT超强记忆力体验
  • 万能GPT如何帮你解决一切问题?
  • GPT表达方式优化
  • GPT多类复杂应用场景解读
  • 3步刨根问底获取终极方案
  • 4步提高技巧-GPT高情商沟通
  • GPT深度玩法应用场景
  • GPT高级角色扮演-教学老师
  • GPT高级角色扮演-育儿专家
  • GPT高级角色扮演-职业顾问
  • GPT高级角色扮演-专业私人健身教练
  • GPT高级角色扮演-心理健康顾问
  • GPT高级角色扮演-程序UX/UI界面开发顾问
  • GPT高级角色扮演-产品经理
  • GPT高级技巧-游戏IP角色扮演
  • GPT高级技巧-文本冒险游戏引导
  • GPT实操练习-销售行业
  • GPT实操练习-菜谱推荐
  • GPT实操练习-美容护肤
  • GPT实操练习-知识问答
  • GPT实操练习-语言学习
  • GPT实操练习-科学减脂
  • GPT实操练习-情感咨询
  • GPT实操练习-私人医生
  • GPT实操练习-语言翻译
  • GPT实操练习-作业辅导
  • GPT实操练习-聊天陪伴
  • GPT实操练习-育儿建议
  • GPT实操练习-资产配置
  • GPT实操练习-教学课程编排
  • GPT实操练习-活动策划
  • GPT实操练习-法律顾问
  • GPT实操练习-旅游指南
  • GPT实操练习-编辑剧本
  • GPT实操练习-面试招聘
  • GPT实操练习-宠物护理和训练
  • GPT实操练习-吸睛爆款标题生成
  • GPT实操练习-自媒体爆款软件拆解
  • GPT实操练习-自媒体文章创作
  • GPT实操练习-高效写作推广方案
  • GPT实操练习-星座分析
  • GPT实操练习-原创音乐创作
  • GPT实操练习-起名/解梦/写诗/写情书/写小说
  • GPT提升工作效率-Word关键字词提取
  • GPT提升工作效率-Word翻译实现
  • GPT提升工作效率-Word自动填写、排版
  • GPT提升工作效率-Word自动纠错、建议
  • GPT提升工作效率-Word批量生产优质文章
  • GPT提升工作效率-Excel自动化实现数据计算、分析
  • GPT提升工作效率-Excel快速生成、拆分及合并实战
  • GPT提升工作效率-Excel生成复杂任务实战
  • GPT提升工作效率-Excel用Chat Excel让效率起飞
  • GPT提升工作效率–PPT文档内容读取实现
  • GPT提升工作效率–PPT快速批量调整PPT文档
  • GPT提升工作效率-文件批量创建、复制、移动等高效操作
  • GPT提升工作效率-文件遍历、搜索等高效操作
  • GPT提升工作效率-邮件自动发送
  • GPT提升工作效率-邮件自动回复
  • GPT接入QQ与QQ群实战
  • GPT接入微信与微信群实战
  • GPT接入QQ与VX多用户访问实战
  • GPT接入工具与脚本部署实战

第二阶段(30天):AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习,首先通过了解AI绘画定义与概述 ,AI绘画的应用领域 ,PAI绘画与传统绘画的区别 ,AI绘画的工具分类介绍的基本概念,以及AI绘画工具Midjourney、Stable Diffusion的使用方法,还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

  • -----------
    AI绘画定义与概述
  • AI绘画的应用领域
  • AI绘画与传统绘画的区别
  • AI绘画的工具分类介绍
  • AI绘画工具-Midjourney
  • AI绘画工具-百度文心一格
  • AI绘画工具-SDWebUI
  • AI绘画工具-Vega AI
  • AI绘画工具-微信中的AI绘画小程序
  • Midjourney学习-Discord账号的注册
  • Midjourney Bot界面讲解
  • Midjourney提示词入门
  • Midjourney高级提示词
  • Midjourney版本参数学解读
  • Midjourney功能参数
  • Midjourney上采样参数
  • AI绘画组合应用1-Midjourney + GPT
  • AI绘画组合应用2-Stable Diffusion + GPT
  • AI绘画组合应用3-AI绘画+ GPT +小红书
  • AI绘画组合应用4-AI绘画+ GPT +抖音
  • AI绘画组合应用5-AI绘画+ GPT +公众号
  • AI绘画组合应用6-AI绘画+ GPT + AI视频
  • AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
  • AI绘画设计-Logo设计
  • AI绘画设计-套用万能公式
  • AI绘画设计-引用艺术风格
  • AI绘画设计-GPT加速设计方案落地
  • AI绘画设计-Vega AI渲染线稿生成设计
  • AI绘画设计-摄影
  • AI绘画设计-头像设计
  • AI绘画设计-海报设计
  • AI绘画设计-模特换装
  • AI绘画设计-家具设计
  • AI绘画设计-潘顿椅设计
  • AI绘画设计-沙发设计
  • AI绘画设计-电视柜设计
  • AI绘画设计-包装设计的提示词构思

第三阶段(30天):AI-视频高段位

恭喜你,如果学到这里,你基本可以找到一份AIGC副业相关的工作,比如电商运营、原画设计、美工、安全分析等岗位;如果新媒体运营学的好,还可以从各大自媒体平台收获平台兼职收益。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • -----------
    AI视频定义与概述
  • AI视频制作-方案与创新
  • AI视频制作-各种工具实操
  • AI视频制作-美学风格(油画/插画/日漫/水墨)
  • AI视频制作-形象设定(人物形象服装/造型/表情)
  • AI视频画面特效处理
  • AI视频画面拼接
  • AI视频画面配音
  • AI视频画面包装
  • AI视频锁定人物逐一精修
  • 多种表情动作/情节
  • 动态模型转换-视频内部元素关键帧
  • 动态模型转换-图像整体运动
  • 动态模型转换-虚拟人
  • 动态模型转换-表面特效
  • AI自媒体视频-深问GPT,获取方案
  • AI自媒体视频-风格设置(诗歌/文言文等)
  • AI自媒体视频-各行业创意视频设计思路
  • AI视频风格转换
  • AI视频字数压缩
  • AI视频同类型衍生
  • AI视频Pormpt公式

第四阶段(20天):AI-虚拟数字人课程

  • -----------
    AI数字人工具简介
  • AI工作台界面功能展示及介绍
  • AI数字人任务确定
  • AI数字人素材准备
  • AI知识、语料的投喂
  • AI模型训练
  • AI训练成果展示及改进
  • AI数字人直播系统工具使用
  • AI人物在各平台直播
  • AI数字人在OBS平台直播

第五阶段(45天以上):AIGC-多渠道变现课程

该阶段是项目演练阶段,大家通过使用之前学习过的AIGC基础知识,项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。

-----------

  • AI-小红书引流变现
  • AI-公众号引流变现
  • AI-知乎引流变现
  • AI-抖音引流/带货变现
  • AI-写作变现
  • AI-B站引流变现
  • AI-快手引流变现
  • AI-百家号引流变现
  • AI-制作素材模板出售变现
  • AI-周边定制变现
  • AI-手机壳图案定制变现
  • AI-周边产品定制变现
  • AI-服装图案定制变现
  • AI-个性头像定制变现
  • AI-起号与知识付费变现
  • AI-实现淘宝销售变现

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名AIGC的正确特征了。

这份完整版的AIGC资料我已经打包好,需要的点击下方二维码,即可前往免费领取!

在这里插入图片描述

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐