一键生成AI动画视频?Animatediff 和 ComfyUI 更配哦!
之前我分享过 Animatediff 在 WebUI 中的应用,最近不是在分享 ComfyUI 嘛,那我们也来讲讲 Animatediff 在ComfyUI 的应用。如果从工作流和内存利用率的角度来说,Animatediff和 ComfyUI 可能更配一些,毕竟制作动画是一个很吃内存的操作。好了,话不多说,我们开干。首先,我们需要在中下载插件,当然也可以直接导入听雨的工作流,然后在的中直接安装后续
之前我分享过 Animatediff 在 WebUI 中的应用,最近不是在分享 ComfyUI 嘛,那我们也来讲讲 Animatediff 在
ComfyUI 的应用。
如果从工作流和内存利用率的角度来说,Animatediff和 ComfyUI 可能更配一些,毕竟制作动画是一个很吃内存的操作。
好了,话不多说,我们开干。
首先,我们需要在管理器 中下载 Animatediff 插件,当然也可以直接导入听雨的工作流,然后在管理器 的安装缺失节点中直接安装
后续用到的工作流和模型(可以文末自行扫描获取)
安装完插件以后,记得重启 ComfyUI 哦。

然后把网盘中对应的模型放入指定的文件夹目录下,v2开头的文件放入以下文件夹下。
\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\loras

然后把网盘中 models 中的文件放入以下目录:
\ComfyUI_windows_portable\ComfyUI\custom_nodes\comfyui-animatediff\models

以上就是 Animatediff 在 ComfyUI 中的安装步骤了。
使用方式也很简单了,只需要导入不同的工作流就可以体验 Animatediff 的不同用法。
我们先来一个最简单的工作流。只是通过文本来生成动漫效果。

虽然可以直接无脑用工作流文件,但是我们还是把 Animatediff 相关的几个工作流节点简单介绍一下。第一个节点动态扩散组件加载器 ,主要就是
Animatediff 的算法模型了,里边的模型都可以选,小伙伴们可以看看不同模型的动漫效果,选择一个自己最喜欢的。

第二个节点,基本的参数,用过 WebUI 的小伙伴应该都清楚,听雨这里就不讲了,我们把 Animatediff 相关的几个参数再介绍一下。
运动模块 对应的就是动态扩散组件加载器 。他们是需要连接的,不过工作流里已经连接好了。
**sliding_window_opts:**自定义滑动窗口选项,这个我们后续讲另外一个配置的一起讲。
模块插入方式 ,选择默认就可以了。
帧数 :动画总共包括的画面数量。和后续的帧率是配套使用的。

帧率 :每秒多少帧。如果帧数设置为16,帧率设置为8,则单个动画的播放时长为2秒。
循环次数 :循环播放几次,0 代表一直重复播放。
是否保持 :是否把动画保存到本地。
格式 :输出的动漫的格式。默认输出 gif 格式,如果要输出视频格式的话,需要配合 ffmpeg 使用。

纯粹文本生成的动画可控性还是蛮差的。

—
第二点,我们来讲下动态滑动窗口。

**动态滑动窗口:**能够在没有帧长度限制的情况下生成GIF。它可以将总帧数拆分成多个批次生成,每个批次之间会有重叠的地方。主要是针对我们内存不够,但是又想要生成足够长的动画情况下使用。
上下文帧长度 :每个窗口的帧数,官方建议默认 16 帧,不过模型有长度上限设置,有些模型,最高只能设置 24 帧。
上下文帧步长 :和采样步数类似。
上下文帧重叠 :每个窗口之间的重叠帧数。
闭合循环 :使GIF成为闭环。

看下效果,不过这种动态滑动窗口比较适合一些自然景观的场景。



—
第三点,我们来讲下添加 Animatediff 动态 Lora 的工作流。

以下 Lora 分别代表了向上向下、向左向右、拉远拉近、顺时针逆时针运动。小伙伴们可以选择对应的运动 Lora。

看一下使用了拉近 Lora 的效果。

—
第四点,通过上传开始图片和结束图片,来生成动漫。主要用到了 ControlNet 模型中的 tile 模型。相当于我们控制了动画的第一帧和最后一帧。

相比于第一个 gif ,是不是好了很多,这个就是 Animatediff + ControlNet 的魅力了,可控性太强了。

最后,我们尝试一下 Animatediff + ControlNet 的 openpose,看看效果如何,openpose小伙伴们应该都知道主要是控制动作的,配合 Animatediff可以让动画中人物的动作更可控,不仅是真人转动漫或者动漫转真人,感觉离我们这些小白也可以做动画的时代不远了。



这里直接将该软件分享出来给大家吧~
1.stable diffusion安装包
随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。
最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集
我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

3.stable diffusion模型下载
stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词
提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。
这份完整版的stable diffusion资料我已经打包好,需要的点击下方插件,即可前往免费领取!

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)