1 概念速览

2 网络形态与“同构”迷思

结论： 编码器与解码器完全可以使用不同类型网络。

• RNN → Transformer：先压缩时序，再高效全局注意力解码
• CNN → CTC 解码器：流式语音，低延迟
• ViT → 文本 Transformer：图像字幕（BLIP-2）

3 注意力 & 上下文

1. 固定上下文向量瓶颈
   早期 Seq2Seq 仅传递单向量 $\mathbf c$，长句信息易丢失。
2. Bahdanau / Luong 注意力
   解码时对编码隐藏态打分，动态读取相关信息。
3. Transformer
   编码器和解码器均以多头自注意力为核心，完全抛弃循环结构。
4. 跨模态注意力
   视觉 token ↔ 字幕 token，或语音特征 ↔ 文本 token。

4 典型任务与落地框架

5 极简 PyTorch 模板

import torch, torch.nn as nn
from random import random

class Seq2Seq(nn.Module):
    def __init__(self, encoder, decoder, sos_id, eos_id, max_len=128):
        super().__init__()
        self.encoder, self.decoder = encoder, decoder
        self.sos, self.eos, self.max_len = sos_id, eos_id, max_len

    def forward(self, src_ids, tgt_ids=None, teacher_forcing=0.5):
        # ① 编码
        memory = self.encoder(src_ids)

        # ② 解码（训练或推理）
        B = src_ids.size(0)
        ys = torch.full((B, 1), self.sos, dtype=torch.long, device=src_ids.device)
        outputs = []

        for t in range(self.max_len):
            logits = self.decoder(ys, memory)           # (B, t+1, V)
            next_token = logits[:, -1].argmax(-1, keepdim=True)
            outputs.append(next_token)

            if tgt_ids is not None and random() < teacher_forcing:
                ys = torch.cat([ys, tgt_ids[:, t:t+1]], dim=1)
            else:
                ys = torch.cat([ys, next_token], dim=1)

            if (next_token == self.eos).all():
                break

        return torch.cat(outputs, dim=1)      # 形如 (B, L)

用法示例

enc = nn.TransformerEncoder(nn.TransformerEncoderLayer(d_model=512, nhead=8), num_layers=6)
dec = nn.TransformerDecoder(nn.TransformerDecoderLayer(d_model=512, nhead=8), num_layers=6)
model = Seq2Seq(enc, dec, sos_id=0, eos_id=2)

6 进阶主题

7 小结与实践建议

1. 架构是方法论：编码器负责理解，解码器负责表达，二者可自由组合。
2. 先跑通，再混搭：先用官方 Transformer 教程跑 NMT baseline，再尝试 LSTM-Enc + Transformer-Dec 等混搭，体会差异。
3. 关注长上下文与检索增强：RAG 正成为工业搜索-生成系统的主流范式。
4. 做项目，反推理论：挑一项真实业务（如 PDF 摘要、邮 件分类），落地一条端到端流水线，遇到痛点再查论文，理解会更深。