HMM 的发射概率(Emission Probability)可以是高斯分布(Gaussian Distribution),这实际上构成了高斯 HMM(Gaussian HMM, GHMM)。我们可以从以下几个角度来理解为什么可以使用高斯分布。


1. HMM 的发射概率的定义

在 HMM 中,发射概率 P(Xt∣qt=j)P(X_t | q_t = j)P(Xtqt=j) 表示:

给定当前的隐藏状态 qt=jq_t = jqt=j,观测值 XtX_tXt 发生的概率。

最常见的情况是:

  • 如果观测值是离散的(例如文本、词性、天气状态),则可以使用离散分布(Categorical Distribution)
  • 如果观测值是连续的(例如语音信号、时间序列数据),则需要使用连续概率分布,如高斯分布(Gaussian Distribution)

因此,当观测数据是连续值时,使用高斯分布建模发射概率是一个合理的选择。


2. 为什么可以使用高斯分布?

(1)观测数据是连续值

许多 HMM 的应用场景中,观测值是连续的。例如:

  • 语音识别:语音信号是一个随时间变化的连续波形,通常表示为梅尔频率倒谱系数(MFCCs)等数值特征。
  • 股票市场分析:股票价格是连续变化的。
  • 手写字符识别:手写笔画的位置坐标是连续的。

对于这种连续数据,我们无法使用离散的概率分布(如多项分布),而高斯分布是最常见的连续概率分布之一。

(2)高斯分布适用于自然现象

许多自然现象(如噪声、测量误差)都服从或近似服从高斯分布。高斯分布的数学性质使其成为建模连续变量的常见选择。

(3)数学计算简单

高斯分布具有良好的数学性质,例如:

  • 仅由均值(μ\muμ)和方差(σ2\sigma^2σ2 来描述,计算方便。
  • 在最大似然估计(MLE)或 EM 算法的参数更新过程中,计算相对简单。

(4)可扩展到混合高斯分布(GMM-HMM)

在某些复杂应用中,例如语音识别,一个隐藏状态可能对应多个不同的音素特征,这时单个高斯分布可能不够用。为了解决这个问题,我们可以使用混合高斯分布(Gaussian Mixture Model, GMM)
P(Xt∣qt=j)=∑k=1KwkN(Xt∣μk,Σk)P(X_t | q_t = j) = \sum_{k=1}^{K} w_k \mathcal{N}(X_t | \mu_k, \Sigma_k)P(Xtqt=j)=k=1KwkN(Xtμk,Σk)
即:

  • 每个隐藏状态 qt=jq_t = jqt=j 的观测值 XtX_tXt 可以由多个高斯分布的加权和组成
  • GMM-HMM 是 HMM 的一种扩展,它允许每个状态有多个子类别,从而提供更强的表达能力。

3. 高斯 HMM 的数学定义

在高斯 HMM(GHMM)中,我们假设:
P(Xt∣qt=j)=N(Xt∣μj,Σj)P(X_t | q_t = j) = \mathcal{N}(X_t | \mu_j, \Sigma_j)P(Xtqt=j)=N(Xtμj,Σj)

其中:

  • μj\mu_jμj 是状态 jjj 对应的均值向量
  • Σj\Sigma_jΣj 是状态 jjj 对应的协方差矩阵(如果观测是多维的)。
  • 如果 XtX_tXt 是一维变量,则
    P(Xt∣qt=j)=12πσj2exp⁡(−(Xt−μj)22σj2)P(X_t | q_t = j) = \frac{1}{\sqrt{2\pi \sigma_j^2}} \exp\left( -\frac{(X_t - \mu_j)^2}{2\sigma_j^2} \right)P(Xtqt=j)=2πσj2 1exp(2σj2(Xtμj)2)
  • 如果 XtX_tXtDDD 维向量(如 MFCC 特征),则使用多元高斯分布
    P(Xt∣qt=j)=1(2π)D/2∣Σj∣1/2exp⁡(−12(Xt−μj)TΣj−1(Xt−μj))P(X_t | q_t = j) = \frac{1}{(2\pi)^{D/2} |\Sigma_j|^{1/2}} \exp\left( -\frac{1}{2} (X_t - \mu_j)^T \Sigma_j^{-1} (X_t - \mu_j) \right)P(Xtqt=j)=(2π)D/2Σj1/21exp(21(Xtμj)TΣj1(Xtμj))

这表示:

  • 在状态 jjj 下,观测值 XtX_tXt 是一个高斯分布的样本
  • 不同的隐藏状态 jjj 对应不同的高斯分布参数(μj,Σj\mu_j, \Sigma_jμj,Σj

4. HMM 和 Gaussian HMM(GHMM)的对比

标准 HMM(离散 HMM) 高斯 HMM(GHMM)
观测值类型 离散值(如单词、词性) 连续值(如语音信号、时间序列)
发射概率 离散概率分布(如多项分布) **高斯分布 $\mathcal{N}(X
应用场景 NLP(词性标注、命名实体识别) 语音识别、股票预测、生物医学信号
计算难度 略高(涉及高斯分布计算)
扩展性 直接建模 可扩展到 GMM-HMM(混合高斯模型)

5. 什么时候使用高斯 HMM?

适用于:

  • 连续数据:如果观测数据是连续的(语音、股票、传感器数据等),用高斯分布比离散分布更合理。
  • 状态对观测值的影响可以用均值+方差描述:如果不同状态下,观测值的分布主要受均值和方差控制,高斯分布就很合适。
  • 数据服从单峰分布:如果在某个隐藏状态下,观测数据集中在某个范围内(即单峰),高斯分布是很好的选择。

🚫 不适用于:

  • 离散观测值(如文本、分类数据):这时候 HMM 的发射概率应使用离散分布(如多项分布)。
  • 数据是多峰分布的(即一个状态下可能有多个不同的类别):可以使用 GMM-HMM,而不是单个高斯分布。

6. 总结

  1. HMM 的发射概率可以是高斯分布,因为很多自然现象(如语音、时间序列)是连续的,而高斯分布是建模连续数据的常见选择。
  2. 高斯分布计算简单,仅由均值和方差决定,并且可以扩展到多维情况(多元高斯)。
  3. 高斯 HMM(GHMM)适用于连续观测值,如语音识别、金融数据分析等。
  4. 如果数据不是单峰的,可以扩展为 GMM-HMM,即用多个高斯分布的混合建模发射概率。
Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐