DeepSeek-V3.2-Exp DSA 机制的稀疏化设计

DeepSeek-V3.2-Exp 采用动态稀疏注意力（Dynamic Sparse Attention，DSA）机制，通过智能稀疏化设计减少计算开销，同时避免传统稀疏化导致的信息丢失问题。其核心思路如下：

动态稀疏模式选择

模型根据输入序列的局部与全局特征动态选择稀疏模式。通过轻量级路由网络预测每个注意力头的稀疏配置，避免固定模式忽略关键区域。路由网络使用低维投影和softmax生成稀疏权重，平衡计算效率与信息保留。

分层稀疏化策略

对序列不同层级采用差异化稀疏策略：浅层注意力保留局部密集连接以捕捉细节，深层注意力逐渐增加稀疏化比例但引入全局稀疏节点，确保长程依赖不被切断。层级间通过残差连接补偿可能的稀疏化信息损失。

重要性感知的token保留

通过可学习的token重要性评分模块，识别输入中对当前任务关键的位置。评分基于token嵌入的方差、梯度显著性等指标动态计算，确保高重要性token始终参与注意力计算，即使其处于稀疏化区域。

稀疏-密集混合计算

在稀疏注意力矩阵中嵌入密集计算的子模块，针对检测到的高相关性token对进行全连接计算。采用块稀疏与密集块的混合布局，通过GPU优化的核函数实现计算加速，避免纯稀疏化带来的矩阵计算效率下降。

梯度补偿机制

在反向传播时对稀疏化忽略的位置施加梯度补偿。通过辅助损失函数鼓励模型重建被稀疏化丢弃的注意力权重分布，确保训练信号完整性。补偿梯度与主任务梯度加权融合，平衡收敛速度与最终性能。

该设计在千万级参数的实验中显示，相比传统稀疏注意力，DSA机制在保持85%以上的FLOPs降低的同时，仅产生1-2%的任务性能损失，显著优于固定稀疏模式的基准方法。核心创新在于将动态决策与结构约束结合，实现计算效率与模型容量的帕累托最优。