一、背景与动机

1. 传统预训练+微调的局限

   • 大规模语言模型（LLM）一般先做海量无监督预训练，再做有监督微调。但仅靠有监督微调（Supervised Fine-Tuning，SFT）难以保证模型输出的内容足够符合人类价值观，也难以灵活处理开放域的复杂指令。

2. RLHF 的提出

   • RLHF 即“从人类反馈中学习的强化学习”，旨在通过人类标注的偏好数据来构建奖励信号，再利用强化学习（如PPO）不断优化模型策略，以获得更契合人类期望的生成效果。

二、核心流程

RLHF 通常包括以下三大阶段：

1. 有监督微调 (Supervised Fine-Tuning, SFT)

• 数据构建：采集人类撰写或修正的大规模“指令—回复”对（Instruction–Response）数据集。
• 微调：在预训练模型基础上，用交叉熵损失对该数据集进行微调，使模型具备初步的指令执行能力。

2. 构建奖励模型 (Reward Model, RM)

• 偏好采集：对同一指令，生成多组不同模型回复，并请多位标注者对回复进行“更好”“次之”排序。
• 训练奖励模型：以标注数据为训练集，学习一个函数$R_{\varphi }(x,y)$， 对输入指令$x$和模型回复$y$输出一个标量奖励值。通常采用对比损失（pairwise loss）进行训练：
  $${\mathcal{L}}_{RM}=-\sum _{\text{(better, worse)}}\log \sigma (R_{\varphi }(x,y_{\text{better}})-R_{\varphi }(x,y_{\text{worse}}))$$

3. 强化学习优化 (RL with PPO)

• 策略模型：使用现有的 SFT 模型作为初始策略${\pi }_{\theta }$。
• 采样交互：给定指令$x$，从${\pi }_{\theta }$中采样生成回复$y$，并由 RM 计算奖励$r=R_{\varphi }(x,y)$。
• PPO 更新：采用 Proximal Policy Optimization（PPO）算法，最大化以下目标：$${\mathcal{L}}_{PPO}(\theta )={\mathbb{E}}_t\left[\min \right(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\left)\right]$$
  其中优势函数${\hat{A}}_t$ 由奖励和价值函数估计构成，$ϵ$为裁剪超参数。
• KL 惩罚：为防止策略偏离初始模型过远，通常在损失中加入 KL 散度惩罚项：$$\mathcal{L}={\mathcal{L}}_{PPO}-\beta \mathrm{KL}[{\pi }_{\theta }\Vert {\pi }_{\text{ref}}]$$

三、关键技术细节

1. 奖励模型的可靠性

   • 偏好数据需覆盖多样场景，避免奖励模型过拟合或产生“投机取巧”策略。
   • 常用交叉验证、验证集监控训练效果，并可采用人类在环 (Human-in-the-Loop) 定期修正。

2. PPO 超参数与稳定性

   • 采样批次大小、PPO 迭代步数、裁剪范围$ϵ$及 KL 惩罚系数$\beta$都需细致调优。
   • 训练时常监控：平均奖励、策略与参考模型的 KL 值、生成质量和多样性。

3. 多轮对话与长文本

   • 对于对话型模型，需要将对话历史作为状态输入，并对长上下文进行截断或使用长序列处理技术（如 Transformer-XL、Reformer）。

4. 安全与价值对齐

   • 可在奖励模型中加入“安全分类器”作为辅助，惩罚不当或偏激内容。
   • 设计多目标奖励：在满足指令完成度的同时，确保回答准确、礼貌、无偏见。

四、挑战与未来展望

1. 人力成本高

   • 收集大规模、高质量的偏好数据成本昂贵。未来可探索弱监督、半监督或自动化标注方法。

2. 奖励模型作弊

   • 模型可能学习到“奖励漏洞”，生成容易获得高分但不符合真实需求的内容。需加强奖励模型的鲁棒性与泛化能力。

3. 多目标权衡

   • 如何在准确性、创造性、简洁性、安全性等多维需求之间取得平衡，是一个持续研究的问题。

4. 跨模态扩展

   • 从文本扩展到图像、音频、视频等多模态场景，将 RLHF 与视觉、语音模型结合，也是前沿方向。