Chaplin：5分钟搭建本地唇语识别系统，让电脑读懂你的唇语

【免费下载链接】chaplin A real-time silent speech recognition tool. 项目地址: https://gitcode.com/gh_mirrors/chapl/chaplin

还在为嘈杂环境无法语音输入而烦恼？Chaplin 是一款革命性的实时唇语识别工具，通过深度学习技术读取你的唇部动作，无需发出任何声音即可将唇语实时转换为文字！这个完全本地运行的视觉语音识别（VSR）工具基于 LRS3 数据集训练，结合 MediaPipe 唇部检测和 Ollama 语言模型，为隐私敏感场景提供了完美的解决方案。

为什么你需要唇语识别？

Chaplin 的核心价值在于保护隐私的同时提供实时交互。想象一下这些场景：

• 办公环境：在开放办公室中，你不想打扰同事，但又需要快速输入文字
• 医疗场景：医生在手术室中需要无声记录手术过程
• 安全区域：在需要绝对安静的场所进行通信
• 游戏控制：为游戏玩家提供新颖的交互方式
• 影视制作：无声台词识别和字幕生成

核心功能亮点

完全本地运行，保护隐私

Chaplin 的所有处理都在你的设备上完成，数据无需上传到云端，确保了绝对的隐私安全。这对于处理敏感信息的场景尤为重要。

实时识别，低延迟响应

基于优化的深度学习模型，Chaplin 能够实时处理视频流，延迟低至毫秒级别，让你几乎感受不到识别过程的存在。

双检测器支持，灵活适应不同环境

检测器类型	优势	适用场景
MediaPipe	轻量快速，CPU友好	普通笔记本电脑、实时应用
RetinaFace	精度更高，鲁棒性强	高性能工作站、复杂环境

智能后处理，提升准确率

Chaplin 不仅识别唇语，还通过语言模型进行语义校正，大幅提升识别结果的准确性和可读性。

Chaplin 实时唇语识别系统界面：左侧显示摄像头画面，中间为演示界面，右侧为运行日志

快速开始指南

环境准备（3分钟搞定）

Chaplin 使用 Python 3.12 环境，通过 uv 工具管理依赖。只需几个简单步骤：

1. 克隆项目仓库

   git clone https://gitcode.com/gh_mirrors/chapl/chaplin
   cd chaplin
   

2. 一键安装配置

   ./setup.sh
   

这个脚本会自动完成所有准备工作：

• 从 Hugging Face Hub 下载预训练模型
• 创建正确的目录结构
• 验证模型文件完整性

3. 安装必要工具

   # 安装 Ollama 并下载语言模型
   ollama pull qwen3:4b
   
   # 安装 uv（Python 包管理器）
   curl -LsSf https://astral.sh/uv/install.sh | sh
   

启动实时识别（2分钟体验）

配置完成后，启动 Chaplin 非常简单：

uv run --with-requirements requirements.txt --python 3.12 main.py \
  config_filename=./configs/LRS3_V_WER19.1.ini \
  detector=mediapipe

操作流程：

1. 摄像头画面显示后，按 Alt 键（Windows/Linux）或 Option 键（Mac）开始录制
2. 对着摄像头无声地"说出"你想要输入的文字
3. 再次按 Alt/Option 键停止录制，识别结果会自动输入到你的光标位置
4. 按 Q 键优雅退出程序

配置与调优

配置文件详解

Chaplin 的核心配置在 configs/LRS3_V_WER19.1.ini 文件中，主要参数包括：

[model]
model_path=benchmarks/LRS3/models/LRS3_V_WER19.1/model.pth
rnnlm=benchmarks/LRS3/language_models/lm_en_subword/model.pth

[decode]
beam_size=40      # 影响识别精度和速度
ctc_weight=0.1    # CTC 损失权重
lm_weight=0.3     # 语言模型权重

性能优化建议

CPU 模式优化：

• 降低视频帧率至 15fps 以节省计算资源
• 调整检测器置信度阈值，平衡精度与速度
• 启用帧跳过机制，减少不必要的处理

GPU 加速配置： 对于支持 CUDA 的环境，可以显著提升性能：

# 在代码中指定 GPU 设备
device = torch.device("cuda:0")  # 使用第一块 GPU

性能对比参考：

• CPU（Intel i7）：处理延迟约 200-300ms
• GPU（RTX 3060）：处理延迟约 50-80ms
• GPU（RTX 4090）：处理延迟约 20-40ms

常见问题解决

问题	解决方案
模型加载失败	运行 sha256sum benchmarks/LRS3/models/LRS3_V_WER19.1/model.pth 验证文件完整性
摄像头无法访问	检查权限：sudo chmod 666 /dev/video0
识别准确率低	确保光照充足，调整摄像头角度，降低环境噪音

应用场景与案例

实际应用案例

案例1：无声办公助手 在开放式办公室中，Chaplin 可以帮助你：

• 无声记录会议要点
• 与同事进行"无声交流"
• 快速回复邮件而不打扰他人

案例2：辅助通信工具 为语言障碍者提供：

• 替代性沟通方式
• 移动设备上的无声输入
• 医疗环境中的隐私保护

案例3：创意娱乐应用

• 游戏中的无声指令控制
• 影视制作的无声台词识别
• 艺术创作中的新颖交互

技术集成方案

Chaplin 可以轻松集成到现有系统中：

• WebRTC 集成：实现浏览器端的实时视频传输
• FastAPI 服务：构建 RESTful API 接口
• Redis 缓存：提升识别结果的响应速度
• Docker 容器化：简化部署流程

FROM python:3.12-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY . .
CMD ["uv", "run", "--with-requirements", "requirements.txt", \
     "--python", "3.12", "main.py"]

进阶开发指南

自定义输入源

Chaplin 支持多种视频输入源，你可以轻松扩展：

class CustomVideoSource:
    def __init__(self, source_type="webcam"):
        self.source_type = source_type
    
    def get_frame(self):
        if self.source_type == "webcam":
            return self._read_webcam()
        elif self.source_type == "video_file":
            return self._read_video_file()
        elif self.source_type == "rtsp_stream":
            return self._read_rtsp_stream()

多语言模型支持

除了默认的 qwen3:4b 模型，Chaplin 支持多种语言模型：

# 轻量级方案
ollama pull mistral

# 高精度方案  
ollama pull llama3.2

流式处理架构

对于需要处理多个视频流的场景，建议采用生产者-消费者模式：

import threading
import queue

class StreamProcessor:
    def __init__(self, max_queue_size=10):
        self.frame_queue = queue.Queue(maxsize=max_queue_size)
        self.result_queue = queue.Queue()
    
    def add_stream(self, stream_url):
        # 启动视频流读取线程
        reader_thread = threading.Thread(
            target=self._stream_reader,
            args=(stream_url,)
        )
        reader_thread.start()

性能监控与优化

监控指标

建议监控以下关键指标：

• 处理延迟：从视频捕获到文字输出的总时间
• 识别准确率：正确识别的单词比例
• 内存使用：模型加载和推理时的内存占用
• CPU/GPU 利用率：硬件资源使用情况

优化策略

1. 内存管理：

   • 定期清理 GPU 缓存：torch.cuda.empty_cache()
   • 使用 with torch.no_grad(): 包装推理代码
   • 批量处理多个帧减少上下文切换

2. 延迟优化：

   • 异步处理视频捕获和识别任务
   • 调整模型参数平衡精度和速度
   • 使用硬件加速（如 TensorRT）

开始你的唇语识别之旅

Chaplin 为开发者提供了一个强大���灵活的唇语识别解决方案。无论你是想要保护隐私的普通用户，还是需要集成视觉语音识别功能的开发者，Chaplin 都能满足你的需求。

立即开始：

1. 克隆项目：git clone https://gitcode.com/gh_mirrors/chapl/chaplin
2. 一键安装：./setup.sh
3. 启动体验：uv run --with-requirements requirements.txt --python 3.12 main.py

加入 Chaplin 社区，一起探索视觉语音识别的无限可能！

相关资源：

• 官方文档：README.md
• 核心代码：chaplin.py
• 配置文件：configs/LRS3_V_WER19.1.ini
• 数据处理：pipelines/data/
• 检测器模块：pipelines/detectors/

【免费下载链接】chaplin A real-time silent speech recognition tool. 项目地址: https://gitcode.com/gh_mirrors/chapl/chaplin