你的RTX 4090终于有用了！保姆级教程，5分钟在本地跑起CogVideoX-2B，效果惊人

【免费下载链接】CogVideoX-2b 基于THUDM的CogVideoX-2b，是一款开源文本到视频生成模型，能将创意文本转化为生动的视频内容。支持英文字符输入，并以高效算法优化内存需求，兼容多种设备，轻松实现创意视频制作。 项目地址: https://gitcode.com/hf_mirrors/THUDM/CogVideoX-2b

写在前面：硬件门槛

根据官方文档，CogVideoX-2B 的显存需求如下：

• 单GPU推理（推荐FP16）：最低显存需求为 4GB（使用 diffusers 库优化后）。
• 单GPU推理（INT8量化）：最低显存需求为 3.6GB（使用 torchao 量化）。
• 多GPU推理（FP16）：每张显卡显存需求为 10GB。

如果你的显卡显存低于上述要求，可能会遇到显存不足（OOM）的问题。以下是一些常见的显卡型号及其显存容量，供参考：

• NVIDIA RTX 4090：24GB
• NVIDIA RTX 3090：24GB
• NVIDIA A100：40GB 或 80GB
• NVIDIA H100：80GB

如果你的显卡显存不足，可以尝试以下优化方法：

1. 启用 diffusers 库的显存优化功能。
2. 使用 INT8 量化模型。
3. 关闭部分显存优化功能以换取更快的推理速度（但显存需求会增加）。

如果你的显卡显存仍然不足，建议升级硬件或使用云服务。

---

环境准备清单

在开始之前，请确保你的系统满足以下要求：

• 操作系统：Linux（推荐 Ubuntu 20.04 或更高版本）或 Windows（需额外配置）。
• Python：3.8 或更高版本。
• PyTorch：2.0 或更高版本。
• CUDA：11.7 或更高版本（需与 PyTorch 版本匹配）。
• 显卡驱动：最新版本。

安装 PyTorch 和 CUDA 的命令如下：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

---

模型资源获取

CogVideoX-2B 的模型可以通过以下方式下载：

1. 使用 huggingface-cli 下载：

huggingface-cli download THUDM/CogVideoX-2b --local-dir ./cogvideox-2b

2. 手动下载并解压到指定目录。

---

逐行解析“Hello World”代码

以下是官方提供的快速上手代码，我们将逐行解析其作用：

from diffusers import DiffusionPipeline

# 加载模型
pipe = DiffusionPipeline.from_pretrained("THUDM/CogVideoX-2b", torch_dtype=torch.float16)

# 启用显存优化
pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

# 生成视频
prompt = "A detailed wooden toy ship sailing on a blue carpet."
video = pipe(prompt, num_inference_steps=50).videos[0]

# 保存视频
video.save("output.mp4")

代码解析：

1. 加载模型：使用 DiffusionPipeline 加载 CogVideoX-2B 模型，并指定 torch.float16 精度以减少显存占用。
2. 显存优化：
   • enable_model_cpu_offload()：将模型的部分计算卸载到 CPU。
   • enable_sequential_cpu_offload()：按顺序卸载模型层。
   • vae.enable_slicing() 和 vae.enable_tiling()：优化 VAE 模块的显存使用。
3. 生成视频：输入文本提示（prompt），设置推理步数为 50。
4. 保存视频：将生成的视频保存为 output.mp4。

---

运行与结果展示

执行上述代码后，你将在当前目录下看到生成的视频文件 output.mp4。视频内容为“一艘精致的木制玩具船在蓝色地毯上航行”，分辨率为 720x480，时长为 6 秒。

---

常见问题（FAQ）与解决方案

问题 1：显存不足（OOM）

解决方案：

• 启用更多的显存优化功能。
• 使用 INT8 量化模型。
• 减少 num_inference_steps 的值（如从 50 降到 30）。

问题 2：依赖冲突

解决方案：

• 创建一个干净的 Python 虚拟环境。
• 确保所有依赖库的版本与官方要求一致。

问题 3：下载失败

解决方案：

• 检查网络连接。
• 尝试手动下载模型文件。

---

希望这篇教程能帮助你顺利运行 CogVideoX-2B！如果有其他问题，欢迎在评论区留言。

【免费下载链接】CogVideoX-2b 基于THUDM的CogVideoX-2b，是一款开源文本到视频生成模型，能将创意文本转化为生动的视频内容。支持英文字符输入，并以高效算法优化内存需求，兼容多种设备，轻松实现创意视频制作。 项目地址: https://gitcode.com/hf_mirrors/THUDM/CogVideoX-2b