项目地址:

https://github.com/hkchengrex/MMAudio?tab=readme-ov-file

inference:

1、创建conda环境

python3.9的,pip安装torch以及相关的,进入mmaudio里面pip安装

2、下载:(注意:下载时候,用hf的镜像https://hf-mirror.com/,新加坡代理会快点)

根据mmaudio/utils/download_utils.py的地址,下载mmaudio_large_44k_v2、'v1-16、best_netG、v1-44、synchformer_state_dict四个pt文件, 放进mmaudio/eval_utils.py指定的位置;

还有clip和bigvgan(估计是声音的编码器),也要下载,GitHub里面没写,需要自己跑demo时候,根据报错的提示,下载open_clip_pytorch_model.bin和open_clip_config.json文件;bigvgan_generator.pt和config.json文件;放这些文件的地址,写进pretrained.py的cached_file(修改hf_hub_download函数应该也行的)和autoencoder.py的self.vocoder = self.vocoder = BigVGANv2.from_pretrained('path to/bigvgan_v2_44khz_128band_512x/',use_cuda_kernel=False)里面

跑demo:

这个推理出来的是,是一个纯音频文件,还需要手动音视频合并的

python demo.py --duration=5 --video path to/a.mp4 --prompt "xxxx." --output path to/

ffmpeg -i path to/a.mp4 -i path to/a.flac path to/VA_a.mp4

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐