本地一键运行!VibeVoice让AI语音合成突破90分钟极限

 

上周末我刷到一个视频,里面有个AI在模拟多人对话,声音自然得就像真人在聊天。我当时就惊了——这玩意儿居然能一口气生成90分钟的音频,还支持4个不同角色!

这就是VibeVoice,一个专门做多角色长音频生成的神器。简单来说,它就像个超级智能的配音演员,不仅能模仿不同人的声音,还能理解对话的节奏和情感。

核心亮点

多角色长音频生成:能生成90分钟的音频,支持最多4个不同角色的语音,超越了传统模型1-2角色的限制。这玩意儿就好比,以前你只能让AI说单口相声,现在它能演整台话剧了!

高效的语音tokenizers:采用7.5Hz超低帧率的声学和语义tokenizers,既保留了音频的高保真度,又大幅提升了处理长序列的计算效率。简单来说,就是它把声音压缩得更聪明,既省内存又保质量。

结合LLM和扩散模型:模型基于Qwen2.5-1.5B LLM理解对话上下文和流程,搭配扩散头生成高保真的声学细节,模拟自然的对话节奏。这就像给AI装了个大脑,让它不仅会说话,还会思考怎么说话更自然。

支持英语和中文:目前仅支持这两种语言,其他语言可能导致输出不准确或不可理解。

使用流程

第一步:下载压缩包及解压,双击启动命令即可运行

 

第二步:给定文本,选择不同的说话人

 

第三步:设置参数,点击运行,即可生成结果

 

技术要求

运行环境要求Windows 10/11 64位操作系统,8G显存以上30、40、50系列英伟达显卡,CUDA >= 12.4。技术原理上,VibeVoice使用连续语音tokenizers在7.5Hz超低帧率下工作,通过next-token扩散框架结合大语言模型来理解文本上下文,用扩散头生成高保真声学细节。

上述AI工具已经制作成了本地一键启动包,你只需点击即可在个人电脑使用,再也不用担心泄露隐私和配置环境出现各种问题。

获取整合包地址,请访问:https://xueshu.fun/7160

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐