流式延迟（Streaming Latency

1. 背景

在语音对话系统中，除了文本理解和生成语音的质量外，响应速度 也是一个关键指标。流式延迟指的是系统在用户说话的同时，能够 实时理解和生成语音 的能力。这种能力对于提供流畅的用户体验至关重要，尤其是在实时交互场景中（如语音助手、实时翻译等）。

• 用户体验：如果系统响应过慢，用户会感到明显的延迟，影响交互体验。
• 实时性要求：在流式语音处理中，系统需要在用户说话的同时逐步生成响应，而不是等待用户说完后再处理。

研究背景

• IntrinsicVoice：
  • 该研究提出了一种实时语音交互框架，赋予大语言模型（LLMs）实时语音交互能力。
  • 核心思想是通过流式处理实现语音识别、文本理解和语音合成的无缝衔接。
• Moshi：
  • Moshi 是一个语音-文本基础模型，专注于实时对话场景。
  • 通过联合训练语音和文本模态，实现了高效的流式处理。
• Llama-Omni：
  • 该研究提出了一个支持无缝语音交互的大语言模型框架。
  • 通过优化模型架构和流式处理算法，降低了流式延迟。

2. 流式延迟的评估方法

为了评估流式延迟，通常需要测量以下两个关键指标：

（1）首词等待时间（First Token Latency）

• 定义：首词等待时间是指用户说完话后，系统生成第一个语音词（或语音片段）所需的时间。
• 意义：
  • 首词等待时间越短，用户感知到的延迟越低。
  • 这是用户对系统响应速度的最直接感知。

（2）实时因子（Real-Time Factor, RTF）

• 定义：RTF 是衡量系统生成语音的效率的指标，计算公式为：
  $$\text{RTF}=\frac{\text{系统生成语音所需的时间(系统处理总时间)}}{\text{生成语音的总时长(播放语音时间)}}$$
• 意义：
  • 如果 RTF = 1，表示系统生成语音的速度与语音播放的速度一致。
  • 如果 RTF < 1，表示系统生成语音的速度快于语音播放的速度。
  • 如果 RTF > 1，表示系统生成语音的速度慢于语音播放的速度，可能存在延迟。

3. 流式延迟的实际应用场景

1. 用户说话：
   • 用户开始说话，系统实时接收语音流。
2. 语音识别：
   • 系统逐步将语音流转换为文本（流式语音识别）。
3. 文本理解与生成：
   • 系统实时理解文本内容并生成响应文本。
4. 语音合成：
   • 系统将响应文本转换为语音流，逐步播放给用户。

在整个流程中，系统需要在用户说话的同时完成语音识别、文本理解和语音合成，以实现 流式处理。

4. 流式延迟的评估示例

示例 1：首词等待时间

• 场景：用户说“今天天气怎么样？”
• 过程：
  1. 用户说完话后，系统开始生成响应。
  2. 系统生成第一个语音词“今天”所需的时间为 0.5 秒。
• 结果：首词等待时间为 0.5 秒。

示例 2：实时因子（RTF）

• 场景：系统生成一段 5 秒的语音响应，生成过程耗时 4 秒。
• 计算：
  $$\text{RTF}=\frac{5\text{秒}}{4\text{秒}}=1.25$$
• 结果：RTF 为 1.25，表示系统生成语音的速度略慢于语音播放的速度。