FunASR Ngram语言模型：提升语音识别准确率新方法

【免费下载链接】FunASR A Fundamental End-to-End Speech Recognition Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Recognition, Voice Activity Detection, Text Post-processing etc. 项目地址: https://gitcode.com/GitHub_Trending/fun/FunASR

引言：语音识别中的准确率瓶颈

你是否曾遇到过语音识别系统将"阿里巴巴"误识别为"阿里爸爸"，或将"人工智能"拆解为"人工 智能"的情况？在实际应用中，即使最先进的端到端语音识别模型（ASR）也常因上下文语义理解不足、领域术语缺失等问题导致识别错误。统计显示，未集成语言模型的ASR系统在通用场景下字错误率（CER）通常高达8%-15%，而在专业领域（如医疗、金融）更是攀升至20%以上。

读完本文你将掌握：

• Ngram语言模型（Language Model, LM）的核心原理及其在语音识别中的作用机制
• 从零开始训练FunASR兼容的Ngram模型完整流程（含数据准备、模型训练、FST编译）
• 三种部署方案（离线识别/实时流式/热词增强）的具体实现
• 工业级优化技巧（如混淆网络重打分、领域自适应）及性能对比

Ngram语言模型基础：原理与优势

什么是Ngram模型？

Ngram是一种基于统计的语言模型，通过分析文本序列中连续N个词的共现概率来预测下一个词出现的可能性。在语音识别中，它主要解决两大问题：

1. 歧义消除：如"上证指数" vs "上证综指"，通过计算词序列概率P("上证指数") > P("上证综指")选择正确结果
2. 上下文补偿：当声学模型输出多个候选（如"银行/银河"）时，结合前文"中国人民"选择"银行"

Ngram与端到端模型的互补性

模型类型	优势	劣势	适用场景
Ngram	训练快（分钟级）、可解释性强、支持热词干预	长距离依赖建模弱	实时系统、领域适配
TransformerLM	上下文理解能力强	推理慢、资源消耗大	离线高精度场景
RNNLM	序列建模能力均衡	梯度消失问题	嵌入式设备

FunASR创新性地将Ngram模型通过FST（有限状态转换器） 集成到解码图中，实现了亚毫秒级的推理延迟，完美适配实时语音交互场景。

FunASR Ngram模型实现：从训练到部署

核心技术架构

FunASR的Ngram模块采用WFST（加权有限状态转换器） 框架，将语言模型、发音词典和声学模型输出统一表示为状态转移网络。其核心组件包括：

训练流程详解（附代码实现）

1. 环境准备

# 安装依赖工具
sudo apt-get install -y srilm openfst-dev
# 克隆仓库
git clone https://gitcode.com/GitHub_Trending/fun/FunASR.git
cd FunASR/runtime/tools
chmod +x train_compile_ngram.sh

2. 数据准备

# 下载示例语料（含600万句中文文本）
wget https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/requirements/lm.tar.gz
tar -zxvf lm.tar.gz
# 语料格式要求：每行一句文本，如"人工智能正在改变世界"

3. 训练3-gram模型

# 生成词频统计
ngram-count -text lm/corpus.txt -order 3 -write lm/counts.txt \
    -unk -map-unk "<unk>" -sort

# 训练ARPA格式模型
ngram-count -read lm/counts.txt -order 3 -lm lm/3gram.arpa \
    -interpolate -kndiscount

4. 编译FST解码图

# 生成词典（音形映射）
python3 fst/generate_lexicon.py lm/corpus.dict lm/lexicon.txt lm/lexicon.out

# 编译TLG.fst（Token-Lexicon-Grammar）
fst/compile_dict_token.sh lm lm/tmp lm/lang
fst/make_decode_graph.sh lm lm/lang  # 输出路径：lm/lang/TLG.fst

模型集成与部署

方案1：离线文件识别

修改run_server.sh启动参数，通过--lm-dir指定Ngram模型路径：

nohup bash run_server.sh \
  --model-dir damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-onnx \
  --lm-dir lm/lang  \  # Ngram模型目录
  --vad-dir damo/speech_fsmn_vad_zh-cn-16k-common-onnx \
  --punc-dir damo/punc_ct-transformer_cn-en-common-vocab471067-large-onnx > log.txt 2>&1 &

方案2：实时流式识别

在Websocket服务中启用Ngram重打分：

# runtime/python/websocket/funasr_wss_client.py
client = FunASRClient(
    host="127.0.0.1",
    port=10095,
    mode="online",
    lm_weight=0.8  # 语言模型权重（0-1之间）
)
result = client.send_audio("test.wav")

方案3：热词增强（1gram特殊处理）

通过1gram模型强制提升特定词汇权重：

# hotwords.txt格式（词 权重）
阿里巴巴 20.0
达摩院 15.0

启动时加载热词文件：

--hotword /workspace/models/hotwords.txt

性能评估与工业级优化

标准数据集性能对比

在AISHELL-1测试集上的对比（基于Paraformer-large模型）：

配置	CER（字错误率）	推理速度	模型大小
无语言模型	5.43%	3.2x实时	220M
+3gram LM	3.87% (-28.7%)	2.8x实时	220M+1.2G
+TransformerLM	3.62%	0.5x实时	220M+1.8G

领域自适应案例：医疗术语识别

某三甲医院病历听写场景中，通过领域内Ngram模型（训练数据含10万份病历文本）实现：

• 医学术语识别准确率：82% → 97%（如"心肌梗死"不再被拆分为"心机梗死"）
• 整体CER：7.2% → 4.1%
• 部署成本：仅需更新200MB的FST文件，无需重新训练ASR模型

优化技巧：混淆网络重打分

传统Viterbi解码仅保留单一路径，而混淆网络（Confusion Network）保留多个候选路径，结合Ngram进行二次打分：

# funasr/utils/postprocess_utils.py
def ctc_beam_search(ctc_probs, lm_model, beam_size=10):
    # 1. 生成初始候选集
    candidates = ctc_prefix_beam_search(ctc_probs, beam_size)
    # 2. Ngram重打分
    for cand in candidates:
        cand.score += lm_model.score(cand.text) * lm_weight
    # 3. 选择最优结果
    return max(candidates, key=lambda x: x.score)

常见问题与解决方案

Q1: Ngram模型体积过大怎么办？

A: 采用剪枝策略：

ngram -order 3 -lm lm/3gram.arpa -prune 1e-8 -write lm/pruned_3gram.arpa

可将模型体积从1.2G压缩至300M，性能损失<0.5%

Q2: 如何处理OOV（未登录词）问题？

A: 结合子词Ngram和字符级回退：

Q3: 实时场景中如何平衡速度与精度？

A: 采用动态权重调整：

• 语音开头（前0.5s）：lm_weight=0.3（优先声学模型）
• 稳定段：lm_weight=0.7（平衡声学/语言模型）
• 句尾：lm_weight=0.9（强化语法正确性）

总结与未来展望

Ngram语言模型作为一种轻量级、易部署的技术方案，在FunASR中展现出显著的准确率提升效果，尤其适合资源受限场景和快速领域适配。随着大语言模型（LLM）的发展，未来可能出现Ngram+LLM混合架构：

行动建议：

1. 新手用户：直接使用ModelScope预训练Ngram模型（damo/speech_ngram_lm_zh-cn-ai-wesp-fst）
2. 进阶用户：基于行业语料微调，重点优化领域术语
3. 研究人员：探索Ngram与LLM的知识蒸馏技术，压缩模型体积

点赞+收藏本文，关注FunASR项目获取最新技术动态！下一期将带来《基于Ngram的跨语言语音识别实践》。

【免费下载链接】FunASR A Fundamental End-to-End Speech Recognition Toolkit and Open Source SOTA Pretrained Models, Supporting Speech Recognition, Voice Activity Detection, Text Post-processing etc. 项目地址: https://gitcode.com/GitHub_Trending/fun/FunASR