前言

本文是阅读论文《Listen, Attend and Spell(LAS)》的笔记，LAS 是一种端到端基于注意力机制的编码器-解码器（Attention-based Encoder Decoder， AED） 结构。在 2015 年，传统 DNN-HMM 模块复杂，各模块单独训练优化，有误差累积和存储占用大等问题；CTC 有输出标签条件独立的不合理假设；RNN-T 训练内存占用高，在当时算力资源不富裕的条件下，效果并不惊艳。AED 方法提出后，迅速成为语音识别（ASR）领域富有前景的技术方向。LAS 与 [2] [3] 一起是 AED ASR 的开创性工作。我们从模型结构、训练、解码和重打分、实验结果 4 个方面介绍 LAS。

一、模型结构

LAS 是将 Fbank 特征映射到英文字母集合 y = ( ⟨ sos ⟩ , y 1 , … , y S , ⟨ eos ⟩ ) , y i ∈ { a , b , c , … , z , 0 , … , 9 , ⟨ space ⟩ , ⟨ comma ⟩ , ⟨ period ⟩ , ⟨ apostrophe ⟩ , ⟨ unk ⟩ } \mathbf{y} = (\langle\text{sos}\rangle ,y_1,\dots,y_S,\langle\text{eos}\rangle), y_i \in \{a,b,c,\dots,z,0,\dots,9,\langle\text{space}\rangle,\langle\text{comma}\rangle,\langle\text{period}\rangle,\langle\text{apostrophe}\rangle,\langle\text{unk}\rangle\} y=(⟨sos⟩,y1​,…,yS​,⟨eos⟩),yi​∈{a,b,c,…,z,0,…,9,⟨space⟩,⟨comma⟩,⟨period⟩,⟨apostrophe⟩,⟨unk⟩}，$⟨\text{sos}⟩$ 是 start-of-sentence token，$⟨\text{eos}⟩$ 是 end-of-sentence token。输出字符除了字母和数字，还有空格、逗号、句点、省略号和 Unknown。
如图 1 所示，编码器是一个双向的 LSTM，输入是 Fbank 特征 $\mathbf{x}=(x_1,\dots ,x_T)$，输出是高级特征表示 $\mathbf{h}=(h_1,\dots ,h_U),U\le T$，如下
$$\mathbf{h}=Listen(\mathbf{x})\text{\hspace{1em}(1)}$$

这里的 Listener 采用了金字塔结构，是一个降采样过程，本文实验表明，编码器对输入特征进行降采样可以更快地收敛到更好的结果，是本文相较其参考文献的一个创新点。每一层 pyramid BLSTM (pBLSTM) 将时间分辨率缩小 2 倍，共有 3 层 pBLSTM，故时间分辨率缩小了 8 倍，并且降采样操作可以降低计算复杂度。

解码器由 Attend 和 Speller 组成，本质上是一个基于注意力机制的 LSTM 换能器（Transducer），它利用编码器的输出和之前解码的字符，生成下一个字符的概率分布 $\mathbb{P}(y_i|\mathbf{h},y_{<i})$。具体计算如下
$$c_i=AttentionContext(s_i,\mathbf{h})\text{\hspace{1em}(2)}$$
$$s_i=RNN(s_{i-1},y_{i-1},c_{i-1})\text{\hspace{1em}(3)}$$
$$\mathbb{P}(y_i|\mathbf{x},y_{<i})=CharacterDistribution(s_i,c_i)\text{\hspace{1em}(4)}$$

其中 $RNN()$ 是 2 层的 LSTM，所以在每个时间步需要传递解码器状态（decoder state）$s_i$， $CharacterDistribution()$ 是 MLP，通过最后的 softmax 得到概率分布。这里我们主要关注上下文向量（context vector）$c_i$ 的计算和使用。
$AttentionContext()$ 计算如下，
$$e_{i,u}=⟨\varphi (s_i),\psi (h_u)⟩\text{\hspace{1em}(5)}$$
$${\alpha }_{i,u}=\frac{exp(e_{i,u})}{{\sum }_{u}exp(e_{i,u})}\text{\hspace{1em}(6)}$$
$$c_i=\sum _u{\alpha }_{i,u}{h}_u\text{\hspace{1em}(7)}$$
其中 $\varphi ()$ 和 $\psi ()$ 是 MLP，将 $s_i$ 和 $h_u$ 映射到同一个语义空间，具有相同维度。如果 $s_i$ 和 $h_u$ 分布差异太大，算内积差异大，注意力向量 ${\alpha }_{i,u}$ 也会有影响。式 (7) 对 $h_u$ 加权求和，利用注意力机制，判断 $\mathbf{h}$ 中哪些向量对正确解码起作用。论文中训练收敛时，${\alpha }_{i,u}$ 的分布很尖锐，证明 $\mathbf{h}$ 中只有个别向量对最终解码起关键作用。

二、训练

训练使得
$$\underset{\theta }{\max }\sum _i\log \mathbb{P}(y_i|\mathbf{x},y_{<i}^{\ast };\theta )\text{\hspace{1em}(8)}$$
最大，其中 $y_{<i}^{\ast }$ 是 ground truth 标签。
但是在推理的时候，模型参数随机初始化，前一个解码字符往往是错的，这对于一直照着标准答案训练的模型来说，推理效果会变差。所以作者提出 Sampling 策略，在训练过程中，90% 的训练给模型送 ground truth 标签，10% 从上一步解码出的字符分布中抽样一个字符，进行接下来的解码。目的是在训练中加入噪声，让模型具有抗干扰能力。

三、解码和重打分

解码是送入声学信号后，得到对应信号概率最大的字符
$$\hat{y}=\arg \underset{y}{\max }\log \mathbb{P}(\mathbf{y}|\mathbf{x})\text{\hspace{1em}(9)}$$
解码采用的是 Beam Search ，从 $⟨\text{sos}⟩$ 开始解码，波束搜索宽度为 $\beta$， 每一时间步，当前波束中的每个假设再多解一个字符，从中保留概率最大的 $\beta$ 条路径。如果遇到 $⟨\text{eos}⟩$，则此路径从波束中去除，作为一条最终解码路径。
作者还实验了加入语言模型信息，利用大量纯文本数据训练语言模型 ${\mathbb{P}}_{LM}(\mathbf{y})$:
$$s(\mathbf{y}|\mathbf{x})=\frac{\log \mathbb{P}(\mathbf{y}|\mathbf{x})}{|\mathbf{y}{|}_c}+\lambda \log {\mathbb{P}}_{LM}(\mathbf{y})\text{\hspace{1em}(10)}$$
其中除以 $|\mathbf{y}{|}_c$ 是对字符个数做正则化，$\lambda$ 是超参数，通过在开发集上测试来确定。

四、实验结果

如图 2 所示，LAS 利用语言模型重打分，会有较大提升。同时，Sampling 策略也有小部分提升。但相比当时的 SOTA 模型、传统的 CLDNN-HMM 还有微小差距。

总结

AED 是近十年（当前2025.10）ASR 任务中很重要的技术，思想来源于手写生成和机器翻译，利用注意力机制，帮助编解码器定位到对应的字符。LAS 代码可以参考 。

参考文献

[1]: Chan W , Jaitly N , Le Q V ,et al.Listen, Attend and Spell[J].Computer Science, 2015.DOI:10.48550/arXiv.1508.01211.
[2]: Chorowski J , Bahdanau D , Cho K ,et al.End-to-end Continuous Speech Recognition using Attention-based Recurrent NN: First Results[J].Eprint Arxiv, 2014.DOI:10.48550/arXiv.1412.1602.
[3]: Bahdanau D , Chorowski J , Serdyuk D ,et al.End-to-end attention-based large vocabulary speech recognition[J].IEEE, 2016.DOI:10.1109/ICASSP.2016.7472618.
[4]: https://github.com/Alexander-H-Liu/End-to-end-ASR-Pytorch