Unity语音识别终极指南：本地运行Whisper.unity完整教程

【免费下载链接】whisper.unity Running speech to text model (whisper.cpp) in Unity3d on your local machine. 项目地址: https://gitcode.com/gh_mirrors/wh/whisper.unity

想要在Unity项目中实现高效的语音识别功能吗？🤔 Whisper.unity是一个革命性的开源项目，让你能够在本地设备上运行OpenAI的Whisper语音识别模型，完全无需网络连接！🚀

什么是Whisper.unity？

Whisper.unity是Unity3D对whisper.cpp的绑定，提供高性能的语音转文本（ASR）模型推理能力。这意味着你可以在游戏中添加实时语音命令、语音对话系统，或者开发语音控制的应用！

核心优势：

• 🌍 多语言支持，覆盖约60种语言
• 🔄 跨语言翻译功能（如德语语音转英语文本）
• ⚡ 本地运行，无需互联网连接
• 💰 完全免费开源，可用于商业项目

快速开始：5分钟上手教程

1. 克隆项目仓库

git clone https://gitcode.com/gh_mirrors/wh/whisper.unity

2. 添加Unity包管理器支持

如果你不想克隆整个项目，也可以直接将这个仓库添加到Unity包管理器中：

https://github.com/Macoron/whisper.unity.git?path=/Packages/com.whisper.unity

主要功能模块详解

🎵 音频文件处理

项目提供了完整的音频文件处理能力，你可以轻松处理各种格式的音频文件。查看AudioClipDemo.cs了解详细实现。

🎤 实时麦克风输入

通过MicrophoneDemo.cs，你可以实现实时的语音识别功能！

🌐 多语言支持

项目支持60多种语言识别，具体实现可以参考LanguagesDemo.cs

📝 字幕生成

自动生成字幕功能让你的视频应用更加专业，详见SubtitlesDemo.cs

🔄 流式处理

实时流式语音识别功能，适合需要即时反馈的应用场景。

GPU加速：提升性能的秘诀

Whisper支持GPU加速，使用Vulkan（Windows、Linux）或Metal（macOS、iOS、visionOS），这可以在支持的硬件上显著提升性能！

要激活GPU使用，只需在场景中找到WhisperManager并启用Use GPU开关。如果硬件不支持GPU推理，系统会自动回退到CPU推理。

模型权重选择指南

项目自带了"ggml-tiny.bin"模型权重，这是最小最快的Whisper模型版本。但如果你需要更好的质量，可以从Hugging Face下载其他模型权重。

模型选择建议：

• 🐌 小型模型：速度快，质量一般
• ⚖️ 中型模型：平衡速度与质量
• 🐢 大型模型：速度较慢，质量最佳

平台兼容性一览

• ✅ Windows (x86_64，可选Vulkan)
• ✅ MacOS (Intel和ARM，可选Metal)
• ✅ Linux (x86_64，可选Vulkan)
• ✅ iOS (设备和模拟器，可选Metal)
• ✅ Android (ARM64)
• ✅ VisionOS
• ❌ WebGL（暂不支持）

从源码编译C++库

虽然项目已经包含了预编译的whisper.cpp库，但如果你需要自定义编译：

Windows用户：

.\build_cpp.bat path\to\whisper

MacOS用户：

sh build_cpp.sh path/to/whisper all path/to/ndk/android.toolchain.cmake

Linux用户：

sh build_cpp_linux.sh path/to/whisper

实用工具类介绍

项目提供了丰富的工具类来简化开发：

• AudioUtils.cs：音频处理工具
• MicrophoneRecord.cs：麦克风录制功能
• MainThreadDispatcher.cs：主线程调度器

开始你的语音识别之旅！

现在你已经了解了Whisper.unity的强大功能，是时候在你的Unity项目中实现语音识别了！无论是游戏语音控制、语音助手应用，还是教育软件的语音交互，这个工具都能为你提供完美的解决方案。🎉

立即开始： 克隆仓库或通过Unity包管理器添加，开启你的本地语音识别开发体验！

【免费下载链接】whisper.unity Running speech to text model (whisper.cpp) in Unity3d on your local machine. 项目地址: https://gitcode.com/gh_mirrors/wh/whisper.unity