文章优先发布在微信公众号——“LLM大模型”，有些文章未来得及同步，可以直接关注公众号查看

---

一. 策略梯度算法

策略梯度算法是强化学习中一类直接优化参数化策略 ${\pi }_{\theta }(a|s)$ 的方法，通过计算目标函数（通常是累计奖励的期望）关于策略参数 $\theta$ 的梯度，并沿着梯度方向更新 $\theta$。

1.1 目标函数

在经典的马尔可夫决策过程（MDP）中，我们的目标是找到一个参数 $\theta$ 使得期望累计奖励最大化。

对于回合制任务（Episodic Tasks），目标函数可以定义为：
$$J(\theta )=E_{\tau \sim {\pi }_{\theta }}[R(\tau )]=E_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^T{\gamma }^t{r}_t\right]=E_{s_0\sim {\rho }_0}[V^{{\pi }_{\theta }}(s_0)]$$
其中：

• $\tau =(s_0,a_0,r_0,s_1,a_1,r_1,\dots ,s_T)$ 是一条轨迹（trajectory）。
• ${\pi }_{\theta }$ 是由 $\theta$ 参数化的策略。
• $R(\tau )$ 是轨迹的总折扣奖励。
• ${\rho }_0(s_0)$ 是初始状态分布。
• $V^{{\pi }_{\theta }}(s_0)$ 是策略 ${\pi }_{\theta }$ 下的起始状态 $s_0$ 的价值函数。

对于连续型任务（Continuing Tasks），目标函数通常定义为平均奖励：
$$J(\theta )=\sum _s{\mu }^{{\pi }_{\theta }}(s)\sum _a{\pi }_{\theta }(a|s)R(s,a)$$
其中 ${\mu }^{{\pi }_{\theta }}(s)$ 是策略 ${\pi }_{\theta }$ 下的稳态（或平均）状态分布。

我们主要关注回合制任务的目标函数 $J(\theta )$ 的梯度计算。

1.2 策略梯度定理

策略梯度定理是策略梯度算法的基石，它提供了一种计算 $J(\theta )$ 关于 $\theta$ 的梯度 ${\nabla }_{\theta }J(\theta )$ 的通用表达式。

推导过程：

1. 轨迹概率： 一条轨迹 $\tau$ 在策略 ${\pi }_{\theta }$ 下发生的概率为：
   $$P(\tau ;\theta )={\rho }_0(s_0)\prod _{t=0}^{T}P(s_{t+1}|s_t,a_t){\pi }_{\theta }(a_t|s_t)$$

2. 目标函数梯度：
   $${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }{E}_{\tau \sim {\pi }_{\theta }}[R(\tau )]={\nabla }_{\theta }\sum _{\tau }P(\tau ;\theta )R(\tau )$$
   $${\nabla }_{\theta }J(\theta )=\sum _{\tau }\left[{\nabla }_{\theta }P(\tau ;\theta )\right]R(\tau )$$

3. 对数导数技巧 (Log-derivative Trick)： 利用 ${\nabla }_{\theta }P(\tau ;\theta )=P(\tau ;\theta )\frac{{\nabla }_{\theta }P(\tau ;\theta )}{P(\tau ;\theta )}=P(\tau ;\theta ){\nabla }_{\theta }\log P(\tau ;\theta )$，我们有：
   $${\nabla }_{\theta }J(\theta )=\sum _{\tau }P(\tau ;\theta )\left[{\nabla }_{\theta }\log P(\tau ;\theta )\right]R(\tau )$$
   $${\nabla }_{\theta }J(\theta )=E_{\tau \sim {\pi }_{\theta }}\left[R(\tau ){\nabla }_{\theta }\log P(\tau ;\theta )\right]$$

4. 展开 ${\nabla }_{\theta }\log P(\tau ;\theta )$：
   $$\log P(\tau ;\theta )=\log \left({\rho }_0(s_0)\prod _{t=0}^{T}P(s_{t+1}|s_t,a_t){\pi }_{\theta }(a_t|s_t)\right)$$
   $$\log P(\tau ;\theta )=\log {\rho }_0(s_0)+\sum _{t=0}^T\log P(s_{t+1}|s_t,a_t)+\sum _{t=0}^T\log {\pi }_{\theta }(a_t|s_t)$$
   因为 ${\rho }_0(s_0)$ 和 $P(s_{t+1}|s_t,a_t)$ 不依赖于 $\theta$，所以它们的梯度为 0。
   $${\nabla }_{\theta }\log P(\tau ;\theta )=\sum _{t=0}^T{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$

5. 最终形式 (REINFORCE)： 代入上式，得到最基础的策略梯度形式（REINFORCE 算法的基础）：
   $${\nabla }_{\theta }J(\theta )=E_{\tau \sim {\pi }_{\theta }}\left[\sum _{t=0}^{T}R(\tau ){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

6. 更通用的策略梯度定理： 可以证明（通过引入状态访问分布和价值函数），梯度可以简化为：
   $${\nabla }_{\theta }J(\theta )=\sum _s{\mu }^{{\pi }_{\theta }}(s)\sum _a{\nabla }_{\theta }{\pi }_{\theta }(a|s)Q^{{\pi }_{\theta }}(s,a)$$
   更常用的、基于样本的形式，是将 $R(\tau )$ 替换为随后的奖励（即从 $t$ 时刻开始的未来累计折扣奖励）：
   $${\nabla }_{\theta }J(\theta )\approx E_{{\pi }_{\theta }}\left[\sum _{t=0}^T{G}_t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$
   其中 $G_t={\sum }_{k=t}^T{\gamma }^{k-t}{r}_k$ 是回报 (Return)。

1.3 策略梯度算法的基本形式 (REINFORCE)

REINFORCE（Monte Carlo Policy Gradient）利用策略梯度定理的蒙特卡洛估计：

$${\nabla }_{\theta }J(\theta )\approx \frac{1}{M}\sum _{i=1}^M\sum _{t=0}^T{G}_t^{(i)}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^{(i)}|s_t^{(i)})$$

参数更新：
$$\theta \leftarrow \theta +\alpha {\nabla }_{\theta }J(\theta )$$
其中 $\alpha$ 是学习率。

---

二. 优势函数的由来

REINFORCE是基于策略梯度定理的最基础算法，使用蒙特卡洛采样来估计梯度。

主要缺点：
策略梯度估计的方差（Variance）极高。这是因为回报 $G_t$ 是一个随机变量，其计算依赖于一整条随机轨迹 $\tau$，梯度估计 $G_t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$ 的方差很大，导致训练过程不稳定且收敛缓慢。

优势函数（Advantage Function） 的引入正是为了解决这个问题，它充当基线 (Baseline) 的作用来减小方差而不改变梯度的期望。

2.1 基线 (Baseline) 的引入

考虑策略梯度的形式：
$${\nabla }_{\theta }J(\theta )=E_{{\pi }_{\theta }}\left[\sum _{t=0}^T{G}_t{\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$
我们可以引入一个不依赖于 $a_t$ 的函数 $b(s_t)$（即基线）来修改梯度估计：
$${\nabla }_{\theta }J(\theta )=E_{{\pi }_{\theta }}\left[\sum _{t=0}^T(G_t-b(s_t)){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

证明引入基线不改变期望梯度：

我们需要证明 $E_{{\pi }_{\theta }}\left[{\sum }_{t=0}^{T}b(s_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]=0$。

考察单个时间步 $t$ 的期望：
$$E_{{\pi }_{\theta }}\left[b(s_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]=\sum _{s_t}{\mu }^{{\pi }_{\theta }}(s_t)b(s_t)\sum _{a_t}{\pi }_{\theta }(a_t|s_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)$$

利用对数导数技巧的逆操作：
$${\pi }_{\theta }(a_t|s_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)={\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)$$

代入上式：
$$E[\dots ]=\sum _{s_t}{\mu }^{{\pi }_{\theta }}(s_t)b(s_t)\sum _{a_t}{\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)$$

由于 ${\sum }_{a_t}{\pi }_{\theta }(a_t|s_t)=1$（概率和为 1），所以：
$$\sum _{a_t}{\nabla }_{\theta }{\pi }_{\theta }(a_t|s_t)={\nabla }_{\theta }\sum _{a_t}{\pi }_{\theta }(a_t|s_t)={\nabla }_{\theta }(1)=0$$

因此，
$$E_{{\pi }_{\theta }}\left[b(s_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]=\sum _{s_t}{\mu }^{{\pi }_{\theta }}(s_t)b(s_t)\cdot 0=0$$
梯度估计的期望保持不变。

2.2 最佳基线：状态价值函数

为了最大限度地减小方差，我们希望选择一个基线 $b(s_t)$ 使得 $Var\left((G_t-b(s_t)){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right)$ 最小。

一个理想的基线是状态价值函数 $V^{{\pi }_{\theta }}(s_t)$。

• 状态价值函数 (State-Value Function): $V^{{\pi }_{\theta }}(s)=E_{{\pi }_{\theta }}[G_t|s_t=s]$，表示在状态 $s$ 下，按照策略 ${\pi }_{\theta }$ 行动所能获得的期望回报。
• 将 $G_t$ 替换为动作价值函数 (Action-Value Function) $Q^{{\pi }_{\theta }}(s_t,a_t)=E_{{\pi }_{\theta }}[G_t|s_t,a_t]$，策略梯度可以写为：
  $${\nabla }_{\theta }J(\theta )\approx E_{{\pi }_{\theta }}\left[\sum _{t=0}^T{Q}^{{\pi }_{\theta }}(s_t,a_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$
• 选择基线 $b(s_t)=V^{{\pi }_{\theta }}(s_t)$，梯度表达式变为：
  $${\nabla }_{\theta }J(\theta )\approx E_{{\pi }_{\theta }}\left[\sum _{t=0}^T(Q^{{\pi }_{\theta }}(s_t,a_t)-V^{{\pi }_{\theta }}(s_t)){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

2.3 优势函数 (Advantage Function)

我们将 $Q^{{\pi }_{\theta }}(s_t,a_t)-V^{{\pi }_{\theta }}(s_t)$ 定义为优势函数 $A^{{\pi }_{\theta }}(s_t,a_t)$:

$$A^{{\pi }_{\theta }}(s,a)=Q^{{\pi }_{\theta }}(s,a)-V^{{\pi }_{\theta }}(s)$$

• $A^{{\pi }_{\theta }}(s,a)$ 衡量的是在状态 $s$ 下，采取特定动作 $a$ 相比于遵循策略 ${\pi }_{\theta }$ 的平均表现（期望价值 $V^{{\pi }_{\theta }}(s)$）好出多少。
• 如果 $A^{{\pi }_{\theta }}(s,a)>0$，说明动作 $a$ 比平均水平好，应该增加其被选择的概率 ${\pi }_{\theta }(a|s)$。
• 如果 $A^{{\pi }_{\theta }}(s,a)<0$，说明动作 $a$ 比平均水平差，应该减少其被选择的概率 ${\pi }_{\theta }(a|s)$。

最终的策略梯度表达式（Action-Critic 结构的基础）：
$${\nabla }_{\theta }J(\theta )\approx E_{{\pi }_{\theta }}\left[\sum _{t=0}^T{A}^{{\pi }_{\theta }}(s_t,a_t){\nabla }_{\theta }\log {\pi }_{\theta }(a_t|s_t)\right]$$

---

三. 广义优势估计 (GAE) 的引入

在实际应用中，优势函数 $A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$ 存在一个实现上的问题：需要准确估计两个价值函数 $Q^{\pi }$ 和 $V^{\pi }$，这本身就是挑战。因此，我们通常用其他形式来估计 $A^{\pi }(s,a)$，其中最常见的是使用时序差分 (TD) 误差和GAE。

3.1 TD 误差作为优势估计

基于贝尔曼方程 $Q^{\pi }(s_t,a_t)=E_{\pi }[r_t+\gamma V^{\pi }(s_{t+1})|s_t,a_t]$，我们可以将 $A^{\pi }(s_t,a_t)$ 表达为：
$$A^{\pi }(s_t,a_t)=r_t+\gamma V^{\pi }(s_{t+1})-V^{\pi }(s_t)$$

• TD 误差 (TD Error): ${\delta }_t=r_t+\gamma V^{\pi }(s_{t+1})-V^{\pi }(s_t)$。
• ${\delta }_t$ 是对 $A^{\pi }(s_t,a_t)$ 的一个单步有偏估计，我们称之为 $A_t^{(1)}$。
• TD($\lambda$) 回报 (TD($\lambda$) Return): $R_t^{\lambda }$ 是一种融合了不同 $n$-步回报的估计。

3.2 广义优势估计 (GAE) 的动机

使用 $A_t^{(1)}$（即 ${\delta }_t$）作为优势估计是低方差的（因为只依赖于一步的观测），但它是有偏的，因为它依赖于对 $V^{\pi }$ 的估计 $\hat{V}$。而使用 $G_t-V^{\pi }(s_t)$（蒙特卡洛估计，MC）是无偏的，但却是高方差的。

GAE 的目标： 结合 $n$-步回报的优势，在偏差和方差之间取得平衡。

$n$-步优势估计：
$$\begin{array}{rl}{A}_t^{(1)}& =r_t+\gamma V(s_{t+1})-V(s_t)={\delta }_t\\ A_t^{(2)}& =r_t+\gamma r_{t+1}+{\gamma }^{2}V(s_{t+2})-V(s_t)={\delta }_t+\gamma {\delta }_{t+1}\\ A_t^{(n)}& =\sum _{l=0}^{n-1}{\gamma }^l{r}_{t+l}+{\gamma }^{n}V(s_{t+n})-V(s_t)=\sum _{l=0}^{n-1}{\gamma }^l{\delta }_{t+l}\end{array}$$
其中 ${\delta }_{t+l}$ 是 $t+l$ 时刻的单步 TD 误差。

GAE 的定义： GAE 是一种指数加权平均了所有 $n$-步优势估计的方法，类似于 TD($\lambda$) 回报，它引入了一个衰减因子 $\lambda \in [0,1]$。

$${\hat{A}}_t^{GAE(\gamma ,\lambda )}=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}{A}_t^{(n)}$$

将 $A_t^{(n)}={\sum }_{l=0}^{n-1}{\gamma }^l{\delta }_{t+l}$ 代入：

$${\hat{A}}_t^{GAE(\gamma ,\lambda )}=(1-\lambda )\sum _{n=1}^{\infty }{\lambda }^{n-1}\sum _{l=0}^{n-1}(\gamma {)}^l{\delta }_{t+l}$$

通过改变求和顺序（类似于 $\text{TD}(\lambda )$ 的推导），可以得到一个更紧凑的形式：
$${\hat{A}}_t^{GAE(\gamma ,\lambda )}=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}$$

其中：

• $\gamma$ 是标准折扣因子。
• $\lambda$ 是 GAE 的平滑参数，控制着不同步长估计的权重。

GAE 的作用：

• $\lambda =0$ 时： ${\hat{A}}_t^{GAE(\gamma ,0)}={\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t)$，退化为单步 TD 优势估计（低方差，高偏差）。
• $\lambda =1$ 时： ${\hat{A}}_t^{GAE(\gamma ,1)}={\sum }_{l=0}^{\infty }{\gamma }^l{\delta }_{t+l}=G_t-V(s_t)$，退化为蒙特卡洛优势估计（高方差，低偏差/无偏，前提是 $V$ 估计准确）。
• $0<\lambda <1$ 时： GAE 在 TD 估计和 MC 估计之间进行平滑过渡，实现了方差和偏差的权衡。

估计方法	$\lambda$ 值	偏差-方差特点	核心依赖
单步 TD	$\lambda \to 0$	高偏差（依赖 $V_{\varphi }$ 准确性），低方差	Critic $V_{\varphi }$ 的单步预测
蒙特卡洛	$\lambda \to 1$	低偏差（接近真实 $G_t$），高方差	完整随机轨迹的奖励
GAE	$\lambda \approx 0.95$	平衡偏差和方差	多步 $\text{TD}$ 估计的指数加权平均

GAE 的引入是现代策略梯度方法（如 TRPO 和 PPO）能够稳定、高效学习的关键技术之一。