“CTSAC: Curriculum-Based Transformer Soft Actor-Critic for Goal-Oriented Robot Exploration” (Yang 等, 2025, p. 1) (pdf)

局限

1. 它们普遍只依赖当前观测进行决策，而忽略了历史信息的重要性。在实验中发现，机器人容易陷入局部最优或“原地徘徊”状态

2. 为了使RL策略具有更好的泛化能力，通常需要在复杂环境中训练，但这会带来训练不稳定、发散风险高的问题，此外，RL算法常依赖大规模CNN来处理LiDAR或图像数据，进一步加剧了收敛难度

内容

本文将Transformer的时序建模能力融入SAC框架，使机器人能够同时利用当前状态与历史状态信息。

AE问题可被建模为一个马尔可夫决策过程:

S:机器人在时间步 $t$ 的状态为 $s_t$，
其中包含：

• 从激光雷达预处理得到的障碍物信息 $l_1,l_2,...,l_d$

• 机器人的线速度 $v_r$

• 角速度 ${\omega }_r$

• 以及目标点与机器人之间的相对距离 $d_t$ 和角度 ${\theta }_t$。

根据策略 $\pi$，机器人选择一个动作 $a_t=[v_c,{\omega }_c]$，
其中 $v_c$ 为控制线速度，${\omega }_c$ 为控制角速度（受运动学约束）

1️⃣ LiDAR数据预处理与聚类优化

但这种均匀划分忽略了一个关键事实：

机器人在前进方向的感知更重要。

因此作者提出一种基于机器人前进方向的非均匀分段方法。

公式 (1)：LiDAR角度划分优化

设激光雷达的总分辨率为 $d$，
第 $m$ 个分段的角度跨度为 $\Delta {\theta }_m$，则：

$$\Delta {\theta }_m=\{\begin{array}{ll}\frac{4\pi }{3d-4},& m<\frac{3d}{4}\\ \frac{4\pi (3d-8)}{d(3d-4)},& m\ge \frac{3d}{4}\end{array}$$

2️⃣ 奖励函数设计（Reward Function）

奖励函数由七个部分组成：

$$R=\{\begin{array}{ll}{\lambda }_1,& \text{到达目标}\\ -{\lambda }_2,& \text{发生碰撞}\\ -{\lambda }_3\cdot r_1({\omega }_r)+{\lambda }_4\cdot r_2(d_t)-{\lambda }_5\cdot r_3(\min l_d)-{\lambda }_6\cdot r_p-{\lambda }_7,& \text{其他情况}\end{array}$$

转向惩罚（Turning penalty）

$$r_1({\omega }_r)=\{\begin{array}{ll}1,& |{\omega }_r|>0.5\\ 0,& \text{否则}\end{array}$$

→ 当机器人转向过于频繁或急促时施加惩罚。

目标接近奖励（Goal proximity reward）

$$r_2(d_t)=\{\begin{array}{ll}\frac{d_t}{10},& d_t<10\\ 1,& \text{否则}\end{array}$$

→ 当距离目标小于10米时给予奖励，λ₄较小，防止奖励过大导致学习偏移。

障碍接近惩罚（Obstacle proximity penalty）

$$r_3(\min l_d)=\{\begin{array}{ll}1-\min l_d,& \min l_d<1\\ 0,& \text{否则}\end{array}$$

→ 当障碍物距离小于1m时线性惩罚。

徘徊惩罚（Wandering penalty）

通过计算当前坐标与历史坐标的曼哈顿距离 $d_m$：

$$d_m(x,y,x_i,y_i)=|x-x_i|+|y-y_i|$$

若该距离小于阈值 $\delta$，则记一次惩罚：

$$r_p=\sum _{i=1}^{n}1(d_m(x,y,x_i,y_i)<\delta )$$

其中 $1(\cdot )$ 是指示函数。

→ 当机器人重复出现在相近位置时，说明它“原地打转”，将被惩罚。

步长惩罚（Step penalty）

每个时间步都会固定扣除 ${\lambda }_7$，促使机器人更快到达目标。

目标是在最大化期望奖励的同时最大化策略熵，从而在保证任务完成的同时促进探索多样性。

SAC算法中引入了“温度系数” $\alpha$，用于平衡探索与利用。
其动态更新规则如下：在新环境初期，算法倾向于探索；随着训练进行，逐渐转向利用。

$$\alpha =\frac{{\alpha }_0}{1.0+\tau \cdot n_e}\text{\hspace{1em}(8)}$$

其中：

参数	含义
${\alpha }_0$	初始温度系数，默认为 1
$\tau$	温度衰减率，设为 $1\times 10^{-6}$
$n_e$	当前课程阶段完成的episode数

本文在SAC的三类网络（Actor、V、Q）中全面用Transformer替换传统的全连接层（FC），以捕获时间序列状态之间的依赖关系。

Transformer网络包含：

• 嵌入维度（embedding dim）：1024

• 编码器与解码器层数：2层

• 每层注意力头（attention heads）：8个

• 内部采用 Dropout + Weight Decay 防止过拟合。

网络结构

1. Actor（策略网络）：
   

   • Actor Select：用于策略采样决策（inference）。
     

     • 输入为最近 $T$ 个状态序列：$S=[s_{t-T+1},s_{t-T+2},...,s_t]$

     • 通过全连接层（FC）升维： $1\times T\times D_s\to 1\times T\times 1024$

     • 输入到 Transformer 编码器，计算时间步之间的相关性（自注意力）：

       $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$

     • 输出序列进行平均（Mean pooling）以汇聚历史信息。

     • 与当前时刻状态拼接（Concat），得到融合历史与当前的特征向量。

     • 经过两层全连接网络输出：

       • 动作均值 $\mu$

       • 动作标准差的对数 $\ln (\sigma )$

       • 最终动作通过采样得到：

         $$a_t=\mu +\sigma \cdot ϵ,ϵ\sim \mathcal{N}(0,1)$$

   • Actor Improve：用于策略更新阶段（从经验池中采样进行优化）

     • 输入为从经验回放池（Replay Buffer）采样的状态序列批次 $B\times T\times D_s$

     • 经过Transformer后拼接原始状态，以保持原状态特征，再输入到Critic网络学习

   • 两者参数共享

2. Critic-V（状态值函数）：用于估计当前状态价值 $V(s_t)$ 与目标状态价值 $V(s_{t+1})$。
   

   • 输入状态序列 → 输出 $V(s)$

   • 目标网络参数通过软更新获得：

     $${\psi }^{\prime }\leftarrow \tau \psi +(1-\tau ){\psi }^{\prime }$$

3. Critic-Q（动作值函数）：包含两套独立的Q网络 $Q_1(s,a)$ 与 $Q_2(s,a)$。
   

   • 输入状态-动作序列 → 输出 $Q(s,a)$

   • 使用双Q网络结构：$Q_1$ 与 $Q_2$，取较小者以减少过估计。

   • 更新目标为二者的最小值：

     $$Q(s,a)=\min (Q_1(s,a),Q_2(s,a))$$

     以减少Q值过估计问题（Overestimation bias）

4. SAC整体优化目标函数

   目标是最大化以下带熵的期望回报：

   $$J(\pi )=\sum _t{\mathbb{E}}_{(s_t,a_t)\sim \pi }\left[r(s_t,a_t)+\alpha H(\pi (\cdot |s_t))\right]$$

   其中 $H(\pi )=-\log \pi (a_t|s_t)$ 为策略熵。
   此项促使智能体探索多样化动作。

---

🔄 课程学习机制（Curriculum Learning）

CTSAC 使用周期复习型课程学习策略：死胡同、随机动态障碍、被阻塞的路径等。

过程

• 从简到难，依次构造 $n$ 个训练环境 $e(1),e(2),...,e(n)$。

• 在每个阶段 $j$，回顾之前所有阶段 $i\le j$ 的环境。

• 采样概率为：

  $$p(i,j)=\frac{i^2}{{\sum }_{k=1}^j{k}^2}$$

• 只有在当前阶段的成功率 > 阈值 $\beta$ 时，才进入下一阶段。
  这种机制有效保留早期经验，缓解灾难性遗忘，避免因太快推进导致策略不稳定。

---