Direct Multi-Turn Preference Optimization for Language Agents（DMPO）

把单回合的 DPO 直接推广到多回合（agent）场景，核心是把“策略约束”换成“状态-动作占用度量（SAOM）约束”并在 Bradley-Terry 模型里做长度归一化，从而消掉 partition function Z。

---

1 问题背景

• 直接用 BC（行为克隆）在多回合任务里会累积误差（compounding error）。
• 单回合 DPO 依赖 partition function Z(s) 只与 s 有关，可约掉；多回合里 Z(s) 与整条轨迹有关，无法约掉。
• 本文提出 DMPO，把约束“πθ 与 πref 的 KL”换成“dπθ 与 dπref 的 KL”，并引入长度归一化，使 Z 变为常数可消。

---

2 公式推导（从 DPO → DMPO）

2.1 单回合 DPO 的目标函数

$$\underset{{\pi }_{\theta }}{\max }{\mathbb{E}}_{\tau }\left[\sum _{t=0}^{T-1}{\gamma }^{t}r(s_t,a_t)\right]\beta D_{\text{KL}}[{\pi }_{\theta }(\cdot |s)\Vert {\pi }_{\text{ref}}(\cdot |s)]\text{\hspace{1em}(1)}$$

---

2.2 Bradley-Terry（BT）模型（单回合）

$$p(a^w\succ a^l\mid s_0)=\sigma (r(s_0,a^w)-r(s_0,a^l))\text{\hspace{1em}(2)}$$

---

2.3 单回合 DPO 的闭式解

$${\pi }^{\ast }(a|s)=\frac{1}{Z(s)}{\pi }_{\text{ref}}(a|s)\exp (r(s,a)/\beta )\text{\hspace{1em}(3)}$$

---

2.4 多回合最优状态–动作占用度量（SAOM）

$$d^{{\pi }^{\ast }}(s,a)=\frac{1}{Z}{d}^{{\pi }_{\text{ref}}}(s,a)\exp (r(s,a)/\beta )\text{\hspace{1em}(4)}$$

---

2.5 多回合 BT 模型（未归一化）

$$p({\tau }^w\succ {\tau }^l\mid s_0)=\sigma (\sum _{t=0}^{T^w-1}{\gamma }^{t}r(s_t^w,a_t^w)-\sum _{t=0}^{T^l-1}{\gamma }^{t}r(s_t^l,a_t^l))\text{\hspace{1em}(5)}$$

---

6 DMPO 的 RL 目标（SAOM 约束）

$$\underset{{\pi }_{\theta }}{\max }{\mathbb{E}}_{(s,a)\sim d^{{\pi }_{\theta }}}[r(s,a)]-\beta D_{\text{KL}}[d^{{\pi }_{\theta }}\Vert d^{{\pi }_{\text{ref}}}]\text{\hspace{1em}(6)}$$

---

7 长度归一化因子

$$\text{norm}(T)=\frac{1-\gamma }{1-{\gamma }^T}\text{\hspace{1em}(7)}$$

---

8 归一化后的 BT 模型

$$p({\tau }^w\succ {\tau }^l\mid s_0)=\sigma (\text{norm}(T^w)\sum _{t=0}^{T^w-1}{\gamma }^{t}r(s_t^w,a_t^w)-\text{norm}(T^l)\sum _{t=0}^{T^l-1}{\gamma }^{t}r(s_t^l,a_t^l))\text{\hspace{1em}(8)}$$

---

9 DMPO 损失函数

$${\mathcal{L}}_{\text{DMPO}}=-{\mathbb{E}}_{(s_0,{\tau }^w,{\tau }^l)\sim \mathcal{D}}\log \sigma (\sum _{t=0}^{T^w-1}\beta \phi (t,T^w)\log \frac{{\pi }_{\theta }(a_t^w|s_t^w)}{{\pi }_{\text{ref}}(a_t^w|s_t^w)}\sum _{t=0}^{T^l-1}\beta \phi (t,T^l)\log \frac{{\pi }_{\theta }(a_t^l|s_t^l)}{{\pi }_{\text{ref}}(a_t^l|s_t^l)})\text{\hspace{1em}(9)}$$

3 直观解释

• SAOM 约束迫使策略在所有状态-动作对上逼近专家分布，减少因专家数据未覆盖而随机动作导致的累积误差。
• 长度归一化使不同长度轨迹的累积 reward 可比，从而消掉 Z。
• φ(t,T) 随 t 衰减 → 早期动作权重更高，进一步抑制后期噪声。