Q‑Learning

一、背景与概念

• 强化学习（Reinforcement Learning, RL）
  强化学习研究的是智能体（agent）在环境（environment）中通过试错交互，以最大化累积奖励（cumulative reward）的问题。智能体每一步观察状态$s$，选择动作 $a$，获得即时奖励$r$，并转移到下一个状态$s^{\prime }$。
• 马尔可夫决策过程（Markov Decision Process, MDP）
  强化学习通常建模为 MDP，定义为五元组$(\mathcal{S},\mathcal{A},P,R,\gamma )$：
  • $\mathcal{S}$：状态空间
  • $\mathcal{A}$：动作空间
  • $P(s^{\prime }|s,a)$：状态转移概率
  • $R(s,a)$：即时奖励函数
  • $\gamma \in [0,1)$：折扣因子

二、Q‑Learning 的核心思想

• 动作价值函数（Action-Value Function）
  定义 Q 函数$$Q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[\sum _{t=0}^{\infty }{\gamma }^t{r}_{t+1}\right|s_0=s,a_0=a]$$

  表示在状态$s$采取动作$a$，随后按策略$\pi$行动时，所能获得的折扣累积奖励期望。

• 最优 Q 函数

  $$Q^{\ast }(s,a)=\underset{\pi }{\max }{Q}^{\pi }(s,a)$$

  满足贝尔曼最优性方程（Bellman Optimality Equation）：
  $$Q^{\ast }(s,a)={\mathbb{E}}_{s^{\prime }}[r+\gamma \underset{a^{\prime }}{\max }{Q}^{\ast }(s^{\prime },a^{\prime })|s,a]$$

• 核心思想：通过不断地“自举”（bootstrapping），利用当前对$Q$的估计来更新自身，最终收敛到最优函数$Q^{\ast }$。

三、Q‑Learning 算法流程

1. 初始化

   • 对所有状态—动作对$(s,a)$初始化$Q(s,a)$（可设为 0 或小随机值）。

2. 循环直至收敛（或达到最大迭代次数）

   1. 在当前状态$s$下，根据 ε-贪婪策略（或其他探索策略）选择动作$a$。$$a=\{\begin{array}{ll}\text{随机选择}& \text{以概率 }\epsilon ,\\ \arg {\max }_{a^{\prime }}Q(s,a^{\prime })& \text{以概率 }1-\epsilon .\end{array}$$

   2. 执行动作$a$，观察即时奖励$r$和下一个状态$s^{\prime }$。

   3. Q 值更新$$Q(s,a)\leftarrow Q(s,a)+\alpha [r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime })-Q(s,a)]$$

      • $\alpha \in (0,1]$：学习率
      • $\gamma \in [0,1)$：折扣因子

   4. 状态转移：$s\leftarrow s^{\prime }$

   5. 若$s^{\prime }$为终止状态，则重置为初始状态，继续下一回合。

3. 输出 最终的$Q$函数，可用于派生最优策略：
   ${\pi }^{\ast }(s)=\arg {\max }_{a}Q(s,a).$率低，可结合基于模型或信息论的方法。

四、通俗解释

Q‑Learning 就像训练一个小伙伴在迷宫里找宝藏：它通过不断试错，在每一步记录「在某个位置做某个动作能拿到多少回报」（也就是 Q 值），然后根据“这一步拿到的奖励＋预测下步最大奖励”的总和来更新记录。随着尝试越来越多，小伙伴就能学会在每个位置选最有可能通向宝藏的动作，最终找到最优路径。

DQN

一、背景与动机

传统 Q‑Learning 需用表格存储$Q(s,a)$，当状态空间或动作空间很大（如图像输入、复杂连续空间）时，表格法无法扩展。DQN 的核心思想是用深度神经网络来 近似 Q 函数，即用参数化模型$Q(s,a;\theta )$代替传统的查表，从而能处理高维、连续的状态表示。

二、核心组成

1. Q 网络
   输入当前状态（如游戏帧堆叠后的图像），输出对每个动作的$Q$值估计：
   $$Q(s,a;\theta )\approx Q^{\ast }(s,a)$$

2. 经验回放（Experience Replay）

   • 将智能体与环境交互得到的四元组$(s,a,r,s^{\prime })$存入一个“回放缓冲区”
   • 每次训练时，从缓冲区中随机抽取小批量样本，打破样本间的时序相关，提升数据利用率和收敛稳定性

3. 目标网络（Target Network）

   • 除了主$Q$网络$\theta$，还维护一份延迟更新的目标网络参数${\theta }^{-}$
   • 用目标网络来计算$TD$目标：
     $$y=r+\gamma \underset{a^{\prime }}{\max }Q(s^{\prime },a^{\prime };{\theta }^{-})$$
   • 每隔固定步数，将${\theta }^{-}\leftarrow \theta$，再继续训练，防止自举目标变化过快导致的不稳定

三、DQN 算法流程

1. 初始化

   • 初始化主网络参数$\theta$
   • 复制得到目标网络参数${\theta }^{-}=\theta$
   • 构建经验回放池$\mathcal{D}$

2. 与环境交互并存储经验

   • 在状态$s$下，采用 ε‑贪婪策略从$Q(s;\theta )$中选动作$a$，执行得到$(r,s^{\prime })$
   • 将$(s,a,r,s^{\prime })$存入$\mathcal{D}$

3. 采样与训练（每步或每$K$步执行一次）

   1. 从$\mathcal{D}$中随机抽取一个小批量$\{(s_i,a_i,r_i,s_i^{\prime })\}$
   2. 计算目标值
      $$y_i=\{\begin{array}{ll}{r}_i,& \text{若 }{s}_i^{\prime }\text{ 为终止状态,}\\ r_i+\gamma {\max }_{a^{\prime }}Q(s_i^{\prime },a^{\prime };{\theta }^{-}),& \text{否则.}\end{array}$$
   3. 对主网络最小化均方误差损失
      $$L(\theta )=\frac{1}{N}\sum _i(y_i-Q(s_i,a_i;\theta ){)}^2$$
   4. 使用梯度下降更新$\theta$

4. 周期性同步

   • 每隔$C$步，将目标网络参数${\theta }^{-}\leftarrow \theta$

5. 重复

   • 直到训练结束或达到性能要求

四、通俗解释

DQN 就像给小伙伴装上了“脑力相机”（神经网络），它一边玩游戏一边把每一步的画面、动作和得分（经验）存到“回放盒子”里，然后随机拿出过去的片段来复习，让他学到哪些操作最划算；与此同时，还用一个“慢动作回放机”（目标网络）来帮他稳定地估算下步最优得分，避免他因为自己连连更新脑力相机而走火入魔。这样，小伙伴就能快速又稳健地从高维画面中学会最聪明的动作策略。

DDPG

一、背景与动机

• 连续动作空间挑战
  传统DQN及其变体擅长离散动作，但面对高维、连续动作（如机械臂角度、油门刹车力度）则难以直接套用。
• 确定性策略梯度（Deterministic Policy Gradient, DPG）
  与随机策略梯度不同，DPG 直接学习一个确定性策略$\mu (s;{\theta }^{\mu })$，输出连续动作，目标是最大化长期期望回报：$$J({\theta }^{\mu })={\mathbb{E}}_{s\sim {\rho }^{\mu }}[Q(s,\mu (s;{\theta }^{\mu });{\theta }^Q)].$$

二、算法总体架构

DDPG 是结合DPG与深度网络的离线、基于价值的 Actor‑Critic 框架，包含：

1. Actor 网络 $\mu (s;{\theta }^{\mu })$
   接收状态$s$，输出确定性动作$a\in {\mathbb{R}}^n$。

2. Critic 网络$Q(s,a;{\theta }^Q)$
   接收状态-动作对$(s,a)$，估计其动作价值。

3. 经验回放池$\mathcal{D}$
   存储交互四元组$(s,a,r,s^{\prime })$，用于打破时序相关、提升样本效率。

4. 目标网络
   为 Actor 和 Critic 各维护一份延迟更新的副本$Q-{\theta }^{{\mu }^{-}}$, ${\theta }^{Q^{-}}$，保证训练稳定。

三、核心更新公式

1. Critic 更新
   以目标网络计算的 TD 目标$y$进行最小二乘回归：
   $$y=r+\gamma Q(s^{\prime },\mu (s^{\prime };{\theta }^{{\mu }^{-}});{\theta }^{Q^{-}})$$$$L({\theta }^Q)={\mathbb{E}}_{(s,a,r,s^{\prime })\sim \mathcal{D}}\left[\right(Q(s,a;{\theta }^Q)-y{)}^2].$$
2. Actor 更新
   应用确定性策略梯度定理，最大化 Critic 对 Actor 输出动作的$Q$值：
   $${\nabla }_{{\theta }^{\mu }}J\approx {\mathbb{E}}_{s\sim \mathcal{D}}[{\nabla }_{a}Q(s,a;{\theta }^Q){|}_{a=\mu (s)}{\nabla }_{{\theta }^{\mu }}\mu (s;{\theta }^{\mu })].$$
3. 目标网络软更新
   对目标网络参数做“软替换”：
   $${\theta }^{Q^{-}}\leftarrow \tau {\theta }^Q+(1-\tau ){\theta }^{Q^{-}},{\theta }^{{\mu }^{-}}\leftarrow \tau {\theta }^{\mu }+(1-\tau ){\theta }^{{\mu }^{-}}$$
   其中$\tau \ll 1$（如 $10^{-3}$）保证平滑更新。

四、通俗解释

DDPG 就像给小伙伴装了两个“大脑”——一个“演戏大脑”（Actor），负责根据当前情况直接给出最合适的连续动作；另一个“鉴赏大脑”（Critic），负责评估这些动作有多好。小伙伴一边尝试动作一边把经历（你做了什么、得了多少分、看到了什么）存进“回放盒子”，然后随机复习，借助“慢动作回放机”（目标网络）稳定地算出下次应该怎么调整这两颗大脑的参数。这样，他就能在连续、细腻的操作空间里快速又稳健地学会最赚钱的动作策略。

PPO

一、背景与动机

在策略梯度（Policy Gradient）方法中，传统的REINFORCE虽然能直接优化策略，但容易出现“策略更新步幅过大导致性能剧烈波动甚至崩溃”的问题；而信赖域策略优化（TRPO）虽能保证更新的稳定性，却需要二阶近似与复杂的约束优化，计算开销高。PPO（Proximal Policy Optimization）由 OpenAI 提出，旨在兼顾稳定性与计算效率，成为目前深度强化学习中应用最广泛的策略优化算法之一。

二、核心思想

PPO 的核心在于对原始策略梯度目标函数做裁剪（clipping）或罚项（penalty），以限制新旧策略差异，从而在每次更新时避免策略更新过大。它以一种一阶方法实现对 KL 散度的隐式控制，既保留了 TRPO 的稳定性，又不需要复杂的二阶求解。

三、目标函数形式

1. 裁剪目标（Clipped Surrogate Objective）

$$L^{\text{CLIP}}(\theta )={\mathbb{E}}_t\left[\min \right(r_t(\theta )A_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ)A_t\left)\right]$$

$$r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{\text{old}}}(a_t|s_t)}是策略比率$$

• $ϵ$是超参数（如 0.1 或 0.2），表示允许的策略变动幅度。
• $A_t$是优势函数估计（Advantage Estimate），通常用 GAE（Generalized Advantage Estimation）计算。
  这一项会在$r_t(\theta )$超出$[1-ϵ,1+ϵ]$时，将其拉回该区间，从而对梯度贡献做截断。

2. 价值函数损失（Value Function Loss）

$$L^{\text{VF}}(\theta )={\mathbb{E}}_t\left[\right(V_{\theta }(s_t)-V_t^{\text{target}}{)}^2]$$

• $V_t^{\text{target}}$ 可用蒙特卡洛回报或时序差分回报计算。

3. 熵正则化（Entropy Bonus）

$$L^{\text{S}}(\theta )={\mathbb{E}}_t\left[\mathcal{H}\right({\pi }_{\theta }(\cdot |s_t))]$$

鼓励策略输出分布的熵，促进探索。

4. 总目标

$$L(\theta )=-L^{\text{CLIP}}(\theta )+c_1{L}^{\text{VF}}(\theta )-c_2{L}^{\text{S}}(\theta )$$

• $c_1,c_2$分别是价值函数损失与熵正则化的权重。

四、算法流程

1. 数据收集
   使用当前策略${\pi }_{{\theta }_{\text{old}}}$在环境中运行$T$步，收集$\{(s_t,a_t,r_t,s_{t+1})\}$${}_{t=1}^T$。

2. 优势估计
   采用 GAE 计算优势函数：$${\hat{A}}_t=\sum _{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l}，{\delta }_t=r_t+\gamma V_{{\theta }_{\text{old}}}(s_{t+1})-V_{{\theta }_{\text{old}}}(s_t)$$

3. 多轮小批量更新
   将数据随机打乱后分成若干 mini‑batch，重复$K$次对参数$\theta$进行梯度上升／下降：

   • 计算裁剪目标$L^{\text{CLIP}}$、价值损失$L^{\text{VF}}$、熵bonus。
   • 梯度更新：
     $\theta \leftarrow \theta -\alpha {\nabla }_{\theta }L(\theta )$

4. 策略替换
   更新完毕后，将${\theta }_{\text{old}}\leftarrow \theta$，进入下一轮数据收集。

五、通俗解释

PPO 就像带狗散步时，你给了它自由去探索，但又不想它走得太远跑飞了——你用一根“隐形牵引绳”限制它每一步的偏移。具体来说，PPO 在更新策略时会计算新旧策略的概率比率，如果比率变化超出设定范围（比如±20%），就把它“夹住”不让它动太大；这样既能让策略稳步改进，又能防止一次性更新过猛把好成果全部破坏。