---

强化学习第七篇：DPO——用监督学习重写 RLHF 的核心问题

**本文目标：**让一线工程师、算法负责人，真正理解 DPO 的数学本质、梯度逻辑、工程实践与未来趋势，从而掌握“大模型对齐”的真正主线技术。

在前六篇中，我们讨论了 PPO、RLHF、价值函数、advantages、信用分配困境、KL 稳定性、策略偏移等一系列 RL 在大模型上的“天生困难”。

如果你读过前面的文章，你会立刻理解：

RLHF 的最大问题不是 PPO、不稳定或昂贵，而是大模型不是马尔可夫系统 —— 强行把 RL 套进去，本质是错配。

于是 DPO 诞生了。

---

一、为什么需要 DPO？——RLHF 的根本性痛点

RLHF（PPO 为核心）在大模型中存在三类不可消除的问题：

---

1. RM（Reward Model）噪声大，且容易诱导错误行为

奖励模型本质是：

• 一个分类器
• 用人类偏好数据训练
• 然后试图为每句输出一个标量 reward

这一过程包含大量噪声：

• RM 偏差
• RM 误判
• reward hacking
• 奖励稀疏且不平滑
• “一句话 → 1000 token 的 credit assignment” 非常不合理

最终导致 PPO 在高维策略空间狂乱震荡。

---

2. PPO 的训练链条复杂且不稳定

PPO 需要：

• rollout
• reward
• value function
• advantage
• clipping
• KL 动态调参

在语言模型上，这个链条并不自然，会带来巨大成本和不稳定性。

---

3. RL 假设 Markov 性，而 LLM 完全不是 Markov

RL 假设：

• 当前状态决定未来
• 动作影响环境
• 时序逻辑明确

但 LLM 的实际系统是：

• 状态 = 隐空间（不可观测）
• 动作 = token（无明确外部影响）
• 环境 = 模型自身（无外部世界）
• 时序依赖长、非马氏

结果是：

PPO 在 LLM 上本质上是在一个不适合 RL 的系统里做 RL，自然难以稳定。

---

DPO 的核心洞察：偏好数据已经包含“奖励的全部信息”，所以不需要 reward model，也不需要 PPO。

这句话是理解 DPO 的关键。

---

二、从 RLHF 到 DPO：核心思想的简化

人类偏好数据给我们的是：

• 同样 prompt 下，chosen > rejected

例如：

{
  "prompt": "解释什么是强化学习",
  "chosen": "强化学习是通过试错获得最优策略的方法…",
  "rejected": "我不知道强化学习是什么…"
}

偏好的本质意义是：

chosen 的 log-prob 应该比 rejected 更高。

既然这样——
为什么我们还要 reward model？
为什么要 advantage？
为什么需要时序结构？

于是 DPO 用一个公式解决了整个 RLHF 链条。

---

三、DPO 的数学本质：偏好差距约束 + 隐式 KL 正则

来看关键目标：

1. 定义新模型对 chosen 的偏好差距

$${\Delta }_{\theta }=\log {\pi }_{\theta }(y^{+}|x)-\log {\pi }_{\theta }(y^{-}|x)$$

这是新模型的偏好强度。

2. 旧模型（π₀）的偏好

$${\Delta }_0=\log {\pi }_0(y^{+}|x)-\log {\pi }_0(y^{-}|x)$$

π₀是 freeze 的 SFT 模型。

3. DPO 的目标很简单：

新模型必须比旧模型更偏好 chosen。

$${\Delta }_{\theta }>{\Delta }_0$$

4. 用 β 放大偏好差距

$$z=\beta {\Delta }_{\theta }-{\Delta }_0$$

β 是偏好放大器。

5. 用 logistic loss 形成概率形式

最终 loss：

$$L_{DPO}=-\log \sigma (z)$$

σ(z) 是“chosen > rejected”的概率。

---

四、DPO loss 的直觉：为什么这个公式有用？

拆开来看：

✔ 当 Δθ 很小（模型还不够偏好 chosen）

z → 负数
σ(z) ≈ 0
loss 很大
梯度 ≈ -1 → 强力纠偏

✔ 当 Δθ ≈ Δ0（模型逐渐接近旧模型的偏好）

σ(z) ≈ 0.5
loss 有中等梯度
→ 继续推动增强偏好

✔ 当 Δθ 大到足够（chosen 明显占优）

z → 很大
σ(z) → 1
loss → 0
梯度 → 0
→ 自动停止，避免跑飞，保持能力

这三段结构确保：

• 偏差大 → 强纠偏
• 偏差小 → 温和学习
• 偏差足 → 自动稳定

这是 DPO 比 PPO 稳定的根本原因。

---

五、sigmoid 为什么重要？——DPO 的梯度哲学

DPO 的梯度：

$$\frac{\partial L}{\partial z}=-(1-\sigma (z))$$

关键性质：

• z ≪ 0 → 梯度 ≈ -1（最大）
• z = 0 → 梯度 = -0.5（最敏感）
• z ≫ 0 → 梯度 ≈ 0（停止学习）

这完美符合对齐任务的需要：

• 明显错误 → 大改
• 模棱两可 → 微调
• 已足够好 → 不动

比 PPO 的梯度形状自然得多。

---

六、β 的角色：DPO 的偏好增益（Preference Gain）

β 用于调节偏好学习力度：

• β 小（0.1） → 稳定、安全、不漂移
• β 大（0.5~1.0） → 偏好学得更快，但容易改变模型风格
• β 太大 → 容易跑飞、啰嗦、拒答、过度安全

工程上 β 是最关键的超参数。

It is not KL penalty，
但是起到了隐式 KL 正则的效果，因为 Δθ 不能远离 Δ0 太多，否则 sigmoid 饱和梯度归零，训练自然停止。

---

七、π₀ 与 πθ：对齐过程的两个角色

• π₀：冻结的旧模型

  • 只用来对比偏好强度
  • 用作稳定锚点（Implicit KL Anchor）

• πθ：正在训练的新模型

  • 每次训练都更新 logprob
  • 学习人类偏好
  • 但不允许离 π₀ 太远

两者共同构成一个“对齐轨道”。

---

八、DPO 的工程代码核心

只需要：

• prompt + chosen
• prompt + rejected
• π₀（冻结）
• πθ（可更新）

核心代码：

def dpo_loss(logpi_pos, logpi_neg, logpi0_pos, logpi0_neg, beta=0.1):
    delta_pi = logpi_pos - logpi_neg
    delta_pi0 = logpi0_pos - logpi0_neg
    z = beta * delta_pi - delta_pi0
    loss = -torch.nn.functional.logsigmoid(z).mean()
    return loss

就这些。
无需 PPO、无需 RM、无需 advantage、无需 rollout。

---

九、DPO 的优点（相对于 PPO）

方面	PPO	DPO
结构	RL（复杂）	监督学习（简单）
训练成本	高	极低
奖励信号	noisy	直接偏好
KL 稳定性	需要复杂调参	内建隐式 KL
模型漂移	容易	极低
工程风险	高	低
训练复杂度	高	低

行业趋势已经明确：

大部分对齐任务将由 PPO → DPO 转换。

---

十、DPO 的局限性

必须诚实讲：

1. 偏好数据必须足够好
2. 无法处理需要 tracking trajectory 的任务（e.g., multi-step agent）
3. 无法处理 delayed reward
4. 不适用于复杂 sequential decision-making
5. 不适合替代“能力提升”训练（需要 SFT、蒸馏、self-play）

DPO 的适用范围是：

✔ 安全对齐

✔ 风格一致性

✔ 拒答逻辑

✔ 礼貌性 / 合理性

✔ 人类偏好学习

不解决模型“能力增长”问题。

---

十一、一句话总结

DPO 的本质，是把“对齐”从 RL 问题，重写成了一个可微、可控、可稳定优化的监督学习问题。
用 log-prob 差距替代 reward，用隐式 KL 替代 PPO，用 logistic loss 替代策略梯度。
这是对齐技术的范式变化，而不是工程技巧。

---