DSA 稀疏注意力机制的核心思想

DSA（Dynamic Sparse Attention）通过动态选择最相关的注意力区域，减少计算复杂度。传统的自注意力机制计算所有token间的关联，而DSA仅计算局部窗口内和少量全局关键token的注意力，实现线性或亚线性复杂度。

DeepSeek-V3.2-Exp 的降本逻辑

动态路由策略
模型在训练过程中学习每个注意力头的稀疏模式，通过可微的top-k选择机制保留最重要的k个token交互。实验表明，k=8时可保留95%以上的模型性能。

硬件感知稀疏化
采用块稀疏结构（如8x8的块），适配GPU的SIMD并行计算特性。相比随机稀疏，块稀疏在A100上可获得3.2倍的加速比，显存占用降低40%。

层级化稀疏设计
不同网络层采用差异化稀疏度：

• 底层（1-6层）：局部窗口注意力（窗口大小=128）
• 中层（7-12层）：局部+全局稀疏（保留5%的全局连接）
• 顶层（13-16层）：完全自注意力

关键技术实现

梯度估计方法
采用Gumbel-Softmax近似离散的token选择过程，实现端到端训练。公式表达为：
$$ p_{ij} = \frac{\exp((q_i^T k_j + g_{ij})/\tau)}{\sum_{l=1}^N \exp((q_i^T k_l + g_{il})/\tau)} $$ 其中$g_{ij}$为Gumbel噪声，$\tau$为温度参数。

内存优化技巧

• 使用NVIDIA的Sparse Transformer Kernel
• 注意力矩阵采用ELLPACK存储格式
• 前向计算时动态跳过零值块

实际效果对比

在256k上下文长度下：

该技术使DeepSeek-V3.2-Exp在保持97.3%的原始模型精度前提下，推理成本降低至基线模型的23%。