WhisperLiveKit 说话人识别概述

WhisperLiveKit 是基于 OpenAI Whisper 模型的实时语音处理工具，支持多说话人识别（Speaker Diarization）。其核心是通过声纹特征提取与聚类算法，将音频流中的不同说话人区分并标记时间戳。

多说话人区分算法流程

声纹特征提取 使用预训练的声纹编码器（如 ECAPA-TDNN、x-vector）将音频片段转换为固定维度的嵌入向量。这些向量能够捕捉说话人的独特声学特征，例如音高、频谱等。

代码示例（PyTorch）:

import torchaudio
from speechbrain.pretrained import EncoderClassifier
classifier = EncoderClassifier.from_hparams(source="speechbrain/spkrec-ecapa-voxceleb")
audio_signal = torchaudio.load("sample.wav")[0]
embeddings = classifier.encode_batch(audio_signal)

说话人聚类 对提取的声纹嵌入进行聚类（常用方法包括 K-means、谱聚类或层次聚类）。聚类数可通过语音活动检测（VAD）或基于密度的算法（如 DBSCAN）动态确定。

数学公式 聚类目标函数（K-means）： [ \min \sum_{i=1}^{k} \sum_{x \in C_i} |x - \mu_i|^2 ] 其中 ( C_i ) 为第 ( i ) 个聚类，( \mu_i ) 为其质心。

时间戳对齐 结合 Whisper 的语音识别结果，将聚类标签与文本转录的时间戳对齐，生成带说话人标签的逐字稿。

优化策略

实时性处理 采用滑动窗口机制，以固定时长（如 2秒）的音频块为单位进行增量聚类，同时使用缓存机制减少重复计算。

重叠语音检测 通过多头注意力机制或相位差分析识别重叠语音区域，并分离混合声纹特征。例如，使用 TF-Gridnet 进行语音分离。

代码示例（分离模型）:

from asteroid.models import ConvTasNet
model = ConvTasNet.from_pretrained("mpariente/ConvTasNet_LibriMix_sepclean_8k")
separated_speech = model.separate(mixed_audio)

自适应阈值 根据背景噪声和说话人数量动态调整聚类阈值，例如通过信噪比（SNR）估计调整 DBSCAN 的 eps 参数。

性能评估指标

• DER（Diarization Error Rate）: 包含说话人错误、漏检和假阳性的综合评分。
• Jaccard 相似度: 衡量预测与真实说话人片段的重叠比例。
• 实时延迟: 从音频输入到输出标签的时间差，通常要求 <500ms。