note

REINFORCE Leave-One-Out (RLOO)

REINFORCE Leave-One-Out (RLOO) 基于经典的 REINFORCE 策略梯度方法，通过留一法（Leave-One-Out）构造无偏的优势函数基线。

我们基于 GRPO（Group Relative Policy Optimization）算法进行对比说明。

GRPO vs RLOO 的主要区别

GRPO 和 RLOO 都采用组内对比的方式来估计优势函数，避免了全局基线估计带来的高方差问题。两者的核心区别主要体现在以下两个方面：

区别1：优势函数基线的构造方法

1. GRPO (Group Relative Policy Optimization)

GRPO 对每个 prompt 生成 $G$ 个响应样本，使用组内所有样本的均值和标准差进行标准化：

A ^ i = R i − mean ( { R j } j = 1 G ) std ( { R j } j = 1 G ) \hat{A}_{i} = \frac{R_i - \text{mean}(\{R_j\}_{j=1}^G)}{\text{std}(\{R_j\}_{j=1}^G)} A^i​=std({Rj​}j=1G​)Ri​−mean({Rj​}j=1G​)​

其中：

• $R_i$ 是第 $i$ 个样本的奖励值
• mean ( { R j } j = 1 G ) = 1 G ∑ j = 1 G R j \text{mean}(\{R_j\}_{j=1}^G) = \frac{1}{G}\sum_{j=1}^G R_j mean({Rj​}j=1G​)=G1​∑j=1G​Rj​ 是组内均值
• std ( { R j } j = 1 G ) \text{std}(\{R_j\}_{j=1}^G) std({Rj​}j=1G​) 是组内标准差

2. RLOO (REINFORCE Leave-One-Out)

RLOO 对每个 prompt 生成 $K$ 个响应样本，使用 留一法（Leave-One-Out） 构造基线，即第 $i$ 个样本的基线为除自己外的其他 $K-1$ 个样本的均值：

$${\hat{A}}_i=R_i-\frac{1}{K-1}\sum _{j\ne i}{R}_j$$

这个公式可以等价地改写为：

$${\hat{A}}_i=\frac{K}{K-1}\left(R_i-\bar{R}\right)$$

其中 $\bar{R}=\frac{1}{K}{\sum }_{j=1}^K{R}_j$ 是组内所有样本的均值。

说明：这里使用 $K$ 对齐论文符号，与 GRPO 中的 $G$ 含义一致，均对应配置参数 num_generations

为什么使用留一法？

留一法的关键优势在于无偏性。对于第 $i$ 个样本，其奖励 $R_i$ 和基线 $\frac{1}{K-1}{\sum }_{j\ne i}{R}_j$ 是独立的，因此优势估计是无偏的。相比之下，如果使用包含自身的均值作为基线，会引入偏差。

区别2：KL 散度正则化项的处理方式

为防止策略偏离参考策略过远，两种算法都引入了 KL 散度正则化，但处理方式不同：

GRPO：将 KL 散度作为独立的正则化项添加到[损失函数]中：

$$\mathcal{L}(\theta )=-\mathbb{E}\left[{\hat{A}}_i\log {\pi }_{\theta }(a_i|s_i)\right]+\beta \cdot \text{KL}({\pi }_{\theta }||{\pi }_{\text{ref}})$$

RLOO：将 KL 散度直接整合到奖励项中，构造修正后的奖励：

$$R_i^{\prime }=R_i-\beta \cdot \text{KL}({\pi }_{\theta }||{\pi }_{\text{ref}})$$

其中 $\beta$ 是 KL 散度的权重系数（对应参数 beta），${\pi }_{\text{ref}}$ 是参考策略（通常是 SFT 模型或初始策略）。