开源项目sd-wav2lip-uhq安装与配置指南

【免费下载链接】sd-wav2lip-uhq Wav2Lip UHQ extension for Automatic1111 项目地址: https://gitcode.com/gh_mirrors/sd/sd-wav2lip-uhq

1. 项目基础介绍

本项目sd-wav2lip-uhq是一个开源的Wav2Lip STUDIO扩展，用于Automatic1111的Stable Diffusion WebUI。它能够将视频和语音文件（wav或mp3格式）转换成唇同步视频。通过应用特定的后处理技术，该项目提高了Wav2Lip工具生成的唇同步视频的质量。

该项目主要使用Python编程语言，并且是建立在Stable Diffusion和Wav2Lip等现有技术之上的。

2. 关键技术和框架

• Stable Diffusion: 用于生成高质量图像的深度学习模型。
• Wav2Lip: 用于唇同步的视频生成工具。
• FFmpeg: 用于处理视频和音频文件。
• Dlib: 用于人脸检测和面部标志点预测。
• ONNX Runtime: 用于运行ONNX模型，本项目中的面部交换模型就是ONNX格式的。

3. 安装和配置

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python环境（建议使用虚拟环境）。
• 已安装最新版本的Stable Diffusion WebUI Automatic1111。
• FFmpeg已安装并可从命令行访问。
• 对于Windows用户，需要安装Visual Studio，并确保安装了Python和C++包。

安装步骤

1. 安装Stable Diffusion WebUI Automatic1111： 按照Stable Diffusion Webui仓库中的说明，安装最新版本的Stable Diffusion WebUI Automatic1111。

2. 安装FFmpeg： 从FFmpeg的官方网站下载并安装FFmpeg。根据您的操作系统，按照相应的安装说明操作。

3. 安装sd-wav2lip-uhq扩展：

   • 打开Automatic1111。
   • 在扩展标签页中，选择“从URL安装”，输入以下URL并点击“安装”：

     https://github.com/numz/sd-wav2lip-uhq.git
     

   • 在扩展的“已安装”标签页中，点击“应用并退出”。
   • 如果没有看到“Wav2Lip UHQ”标签，请重新启动Automatic1111。

4. 获取模型权重： 从以下链接下载模型权重，并将其放置在相应的目录中（注意文件名，特别是对于s3fd）：

   • Wav2Lip：下载链接
   • Wav2Lip + GAN：下载链接
   • s3fd：下载链接
   • Dlib 68点面部标志点预测器：下载链接
   • 面部交换模型：下载链接

   权重文件应放置在以下目录中：

   extensions\sd-wav2lip-uhq\scripts\wav2lip\checkpoints\
   

以上步骤完成后，您就可以开始使用sd-wav2lip-uhq扩展进行唇同步视频的生成工作了。请参考项目仓库中的“用法”部分，了解如何使用该扩展。

【免费下载链接】sd-wav2lip-uhq Wav2Lip UHQ extension for Automatic1111 项目地址: https://gitcode.com/gh_mirrors/sd/sd-wav2lip-uhq