刘子铭，刘义舟，杰夫·戈尔，马克斯·特格马克
麻省理工学院

摘要

除了神经网络扩展规律之外，人们对大规模语言模型（LLMs）背后的规律知之甚少。我们引入了神经热力学定律（NTL）——一个提供对LLM训练动态新见解的新框架。从理论角度来看，我们证明了关键的热力学量（如温度、熵、热容量、热传导）和经典热力学原理（如热力学三大定律和能量均分定理）自然地出现在河谷损失景观假设下。从实践角度来看，这种科学视角为设计学习率调度提供了直观的指导原则。

图1：LLM训练动态与热力学之间的联系。

*zmliu@mit.edu
# 1 引言 

大型神经网络与热力学系统具有惊人的相似性——两者都涉及大量的自由度并表现出随机动态。因此，探索神经网络与热力学之间的联系并不令人惊讶 [1, 2, 3, 4]。然而，这些研究主要集中在相对容易理解的损失景观的经典机器学习模型上。相比之下，最近的研究才开始揭示大规模语言模型（LLMs）的复杂损失景观，其特征是所谓的“河谷”结构——由尖锐、快速的方向（谷）和平坦、缓慢的方向（河）组成 [5, 6, 7]。直观地说，快速动态在谷内迅速“平衡”，而慢速动态沿河逐渐演变，并受到快速成分的微妙调节。本文的目标是通过神经热力学定律（NTL）的视角来形式化这种直觉。我们展示了关键的热力学量和原则——包括温度、熵、热容量、热传导、热力学三大定律和能量均分定理——如何自然地从LLM的训练动态中出现（见图1中训练动态与热力学之间的联系）。

LLM训练动态与热力学之间的二元性不仅在概念和理论上引人入胜，还提供了实际的见解——例如，在学习率调度的设计方面。在LLM预训练中常用的一种学习率调度是升温-稳定-衰减（WSD）。根据[5, 8]，稳定阶段对应于沿河流运动，伴有山谷方向的波动，而衰减阶段则抑制这些山谷变化。受此启发，我们引入了一个河谷景观的玩具模型。这个模型可以解析求解，具有自然的热力学解释，并与实际LLM训练动态显示出强烈的实证一致性。

本文组织如下。快慢动态之间的时间尺度分离使我们可以将总损失函数 $\ell$ 分解为两个部分——快速部分 ${\ell }_f$ 和慢速部分 ${\ell }_s$，这促使我们提出了河谷景观的玩具模型（第2节）。在固定学习率的情况下，快速动态收敛到稳态分布，类似于热平衡（第3节）。当学习率衰减时，分布相应地演化——类似于退火过程（第4节）。此外，快速动态对慢速动态施加了一种有效的熵力，类似于物理学中的熵力（第5节）。值得注意的是，学习率 $\eta$ 在所有这些现象中起着核心作用。通过澄清其复杂且有时矛盾的影响，我们得出了设计高效学习率调度的直观指南（第6节），随后是相关工作（第7节）和结论（第8节）。

与主要从经验或现象学角度处理LLM优化（特别是学习率调度设计）的先前工作不同，我们的描述更具机制性。我们的技术贡献如下：

• 快慢分解公式化。在河谷景观中，我们将训练分解为两个过程：(1) 快速动态：要么在固定 $\eta$ 下达到平衡，要么在衰减 $\eta$ 下进行退火；(2) 慢速动态：沿河流漂移。
• • 可精确求解的玩具模型。我们介绍了一个可处理的河谷景观玩具模型，捕捉了快慢动态。该模型允许对训练行为和最优学习率调度进行解析求解。
• • 对LLM的实际相关性。我们证明了玩具模型的见解很好地推广到了实际LLM训练，为学习率调度提供了直观且有效的启发式方法。
• • 连接物理。神经网络训练与热力学之间的二元性为发展对深度学习更深层次的科学理解奠定了基础。

2 河谷损失景观

近期的工作 [5] 显示，LLM损失景观类似于河谷景观：平坦的河流位于陡峭山谷的底部。训练沿着河流缓慢前进，同时在陡峭的山坡间快速跳跃。在整篇文章中，我们交替使用谷动态 $=$ 快速动态，河动态 $=$ 慢速动态。
学习率 $\eta$ 的两难困境 一个好的学习率应该在两个目标之间找到良好的平衡：(A) 促进沿河流方向的进展——通常损失单调递减——这有利于较大的 $\eta$；以及 (B) 最小化沿山谷方向的方差，这有利于较小的 $\eta$。在WSD调度中，稳定阶段负责 (A)，而衰减阶段负责 (B) [5]。为了更好地理解这一权衡，我们引入了一个可分析表征沿河流和山谷方向训练动态的玩具模型。

2.1 玩具模型

玩具模型 $\ell (x,y)=c(y)+\frac{1}{2}a(y)x^2$ 是一个二维的损失函数，类似于图1左上方的河谷景观。它由一个快速变量 $x$ 和一个慢速变量 $y$ 组成。对于任何固定的 $y$，损失在 $x=0$ 处最小，这描绘出谷底的路径，对应的损失为 $c(y)$。损失函数分解为两个部分：山谷部分 ${\ell }_f(x,y)\equiv \frac{1}{2}a(y)x^2$（称为快速损失或热损失）和河流部分 ${\ell }_s(x,y)\equiv c(y)$（称为慢速损失）。在文章的其余部分，我们分析了SGD和SignGD在这个景观上的训练动态——在学习率 $\eta$ 和梯度噪声 ${\sigma }_g$ 下——并展示了其与大规模语言模型训练行为的相关性。

2.2 热力学：第一热力学定律

快慢动态的分解让人联想到热力学中的准静态平衡。考虑一个缓慢改变充满气体的腔室体积的活塞：当活塞（慢变量）缓慢移动时，气体分子（快变量）经历快速的热运动并迅速达到新的热平衡。根据第一热力学定律 $\Delta U=W+Q$，内部能量的变化 $\Delta U$ 由功 $W$（与慢动态相关）和热量 $Q$（与快动态相关）组成。这反映了河谷景观中损失函数的分解 $\ell ={\ell }_s+{\ell }_f$，其中 ${\ell }_s$ 捕捉慢动态，${\ell }_f$ 捕捉快动态。在这种类比中，慢变量 $y$ 对应于宏观量，例如体积，而快变量 $x$ 对应于微观自由度，例如原子振动。在下一节中，我们将考察 $x$ 中的快速波动如何贡献到快损失成分 ${\ell }_f$。尽管这种分解在概念上很有趣，但它尚未提供对 ${\ell }_f$ 和 ${\ell }_s$ 的定量表征，这是我们将在文章其余部分解决的目标。

3 平衡状态下的谷动态（稳定阶段）

快慢分离允许我们在分析快速动态时将慢变量 $y$ 视为固定值。与快速动态相关的是快速损失 ${\ell }_f(x,y)\equiv \frac{1}{2}a(y)x^2$。为了简化，我们忽略对 $y$ 的依赖性并写成 ${\ell }_f(x)=\frac{1}{2}a{x}^2$。我们考虑在该二次函数上的随机梯度下降（SGD）或符号梯度下降（SignGD） ${}^2$，带有学习率 $\eta$ 和梯度噪声 ${\sigma }_g$。在这种二次近似下，训练动态收敛到一个高斯稳态分布，$p(x)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{x^2}{2{\sigma }^2}\right)$，其特征宽度为 $\sigma$。我们的目标是理解 $\sigma$ 如何依赖于锐度 $a$、学习率 $\eta$ 和梯度噪声 ${\sigma }_g$。在第3.1节中，我们推导了 SGD 和 SignSGD 的函数形式 $\sigma =\sigma \left(\eta ,a,{\sigma }_g\right)$。第3.2节提供了结果的热力学解释，第3.3节提供了在LLM训练中的实证验证。

3.1 玩具模型：稳态分布

SGD 一个具有学习率 $\eta$ 和梯度噪声 ${\sigma }_g$ 的SGD优化器遵循以下动态：

$$x_{t+1}=x_t-\eta \left(a{x}_t+{\sigma }_g\dot{W}\right)$$

其中 $\dot{W}\sim \mathcal{N}(0,1)$ 是标准布朗运动。平衡分布是高斯分布 $p_{\sigma }(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{x^2}{2{\sigma }^2}}$（详见附录A中的推导）。在平衡状态下，方差保持不变，即 $\mathrm{Var}\left(x_{t+1}\right)=\mathrm{Var}\left(x_t\right)$，导致方程 ${\sigma }^2=(1-\eta a{)}^2{\sigma }^2+{\sigma }_g^2$，结果为

${}^2$ 为简单起见，我们将动量设为零。注意，SignGD 是 Adam 的一种特殊情况，当 $({\beta }_1,{\beta }_2)=$ $(0,0)$ 时。
表1：在一维二次函数 $\ell (x)=\frac{1}{2}a{x}^2$ 上的优化

优化器	SGD	SignGD
方程	$x_{t+1}=x_t-\eta \left(a{x}_t+{\sigma }_g\hat{W}\right)$	$x_{t+1}=x_t-\eta \mathrm{sign}\left(a{x}_t+{\sigma }_g\hat{W}\right)$
稳态分布宽度 $\sigma$	$\frac{{\sigma }_g}{\sqrt{a\left(\frac{1}{a}-a\right)}}$	$\frac{\sqrt{\pi }}{4}\eta \sqrt{1+\sqrt{1+\frac{32}{\pi }{\left(\frac{{\sigma }_g}{a\eta }\right)}^2}}$
$\sigma$（平坦极限 $a\eta \ll 1$ ）	$\sqrt{\frac{\pi }{2a}}{\sigma }_g\propto {\eta }^{1/2}{a}^{-1/2}{\sigma }_g$	${\left(\frac{\pi }{8}\right)}^{1/4}\sqrt{\frac{{\sigma }_g\eta }{a}}\propto {\eta }^{1/2}{a}^{-1/2}{\sigma }_g^{1/2}$
热损失 $\overline{{\ell }_f}$	$\frac{{\sigma }_g^2}{4}\eta$	$\sqrt{\frac{\pi }{32}}{\sigma }_g\eta$
最优衰减计划	${\eta }_t=\frac{\frac{2}{a}}{1+\frac{1}{16}}\left(t_h=\frac{2}{a\eta }\right)$	${\eta }_t=\frac{2}{1+\frac{1}{16}}\left(t_h=\sqrt{2\pi }\frac{{\sigma }_g}{a\eta }\right)$

得到 $\sigma ={\sigma }_g/\sqrt{a(2/\eta -a)}$。只有当 $0<a<\frac{2}{\eta }$ 时，该公式才是良好定义的。当 $a\to 2/\eta$ 时，学习率达到所谓的“稳定性边缘”[9]。由于大多数过参数化模型的方向相对较平，我们感兴趣的是平坦极限情况，当 $a\ll 2/\eta$ 时，简化 $\sigma$ 到 $\sigma \approx \sqrt{\eta /(2a)}{\sigma }_g\propto {\eta }^{1/2}{a}^{-1/2}{\sigma }_g^1$。
SignGD 具有学习率 $\eta$ 和梯度噪声 ${\sigma }_g$ 的SignGD优化器遵循动态：

$$x_{t+1}=x_t-\eta \mathrm{sign}\left(a{x}_t+{\sigma }_g\hat{W}\right)$$

使用与SGD相同的方差保持条件，我们推导出稳态高斯宽度 $\sigma =\frac{\sqrt{\pi }}{4}\eta \sqrt{1+\sqrt{1+\frac{32}{\pi }{\left(\frac{{\sigma }_g}{a\eta }\right)}^2}}$。平坦极限 $a\ll {\sigma }_g/\eta$ 得到 $\sigma \approx {\left(\frac{\pi }{8}\right)}^{1/4}\sqrt{\frac{{\sigma }_g\eta }{a}}\propto {\eta }^{1/2}{a}^{-1/2}{\sigma }_g^{1/2}$。详细推导推迟到附录C。结果总结在表1中以供参考。
热损失 平均热损失为 $\overline{{\ell }_f}={\mathbb{E}}_{x\sim p_{\sigma }(x)}\left(\frac{1}{2}a{x}^2\right)=\frac{1}{2}a{\sigma }^2$。注意到对于SGD和SignGD，$\sigma \propto a^{-1/2}$，因此在 $\overline{{\ell }_f}$ 中 $a$ 被抵消掉，即 $\overline{{\ell }_f}\propto \eta {\sigma }_g^2$ 对于SGD和 ${\ell }_f\propto \eta {\sigma }_g$ 对于SignGD。$a$ 的独立性导致了一个有趣的事实：给定两个具有不同锐度 $a_1\ne a_2$ 的方向，它们诱导相同的 $\overline{{\ell }_f}$（只要 $\eta$ 和 ${\sigma }_g$ 相同）。这也意味着：无论稳定阶段持续多久（导致沿河流的不同点具有不同的锐度），在衰减阶段中可减少的热损失大致相同，这解释了[10]中的观察结果。平均热损失 $\overline{{\ell }_f}$ 也可以被解释为在许多谷方向上的平均值。

3.2 热力学：均分定理、温度、热容

锐度的独立性对应于热力学中的均分定理，该定理指出：在一个处于热平衡的系统中，能量在所有二次出现于系统能量中的自由度之间均匀分布。具体来说，$E=\frac{1}{2}{k}_{b}T$，其中 $k_b$ 是玻尔兹曼常数，$T$ 是温度。特别地，振动自由度的能量独立于弹簧常数，这对应于我们案例中的锐度 $a$。现在我们可以建立优化 $\overline{{\ell }_f}\propto {\sigma }_g^n\eta$ （$n=1$ 对于SignGD，$n=2$ 对于SGD）和热力学 $E=\frac{1}{2}{k}_{b}T$ 之间的映射。忽略常数项，我们得到有效温度 $T\sim \eta$，即学习率 $\eta$ 可以解释为温度。基于这一点，斜率 $C\equiv \frac{\partial \overline{{\ell }_f}}{\partial \eta }$ 可以解释为热容。现在我们可以简单地通过 $\overline{{\ell }_f}=C\eta$ 来关联 $\overline{{\ell }_f}$ 和 $\eta$。当存在 $N$ 个谷方向时，总的热损失是对所有谷方向求和 $\overline{L_f}=N\overline{{\ell }_f}=NC\eta$。

3.3 实验

GPT-2 实验设置：我们在OpenWebText上预训练一个小型GPT-2模型（基于NanoGPT [11]）。我们使用8个V100 GPU，选择块大小为1024，批量大小为480块。我们使用Adam优化器，采用升温-稳定-衰减学习率调度，如图2（a）所示。我们总是使用2000步线性升温，从0升温到 $6\times 10^{-4}$。稳定阶段的学习率为 $\eta$。衰减阶段从 $\eta$ 开始，并余弦衰减到 ${\eta }_{\min }$。总训练步数为10k。
我们在玩具模型中已经表明，平均热损失 $\overline{{\ell }_f}$ 与学习率 $\eta$ 成线性关系（假设热平衡）。我们现在展示这种关系适用于大规模语言模型。

图2：(a) LLM预训练通常使用WSD（升温-稳定-衰减）学习率调度。${\eta }_{\min }$ 是最终学习率。(b) 验证损失是 ${\eta }_{\min }$ 的线性函数，对于大的 ${\eta }_{\min }$。© $\Delta \ell$ 是 $\Delta \eta$ 的线性函数，对于小的 $\Delta \eta$。

我们有2k步升温，7k步稳定 ($\eta =6\times 10^{-4}$) 和1k步余弦衰减至 ${\eta }_{\min }$，这是扫描的。在图2(b)中，我们显示对于大的 ${\eta }_{\min }$，最终验证损失与 ${\eta }_{\min }$ 成线性关系。由于衰减阶段较短，我们可以假设 ${\ell }_s$ 在不同衰减调度之间变化不大。因此，$\ell$ 可代表 $\overline{{\ell }_f}$，我们测量得到 $\ell =3.145+110{\eta }_{\min }$。与理论热损失 $\overline{L_f}=\left(\sqrt{\frac{\pi }{32}}N{\sigma }_g\right)\eta$（对于SignGD ${}^3$）比较，我们得到 $N=\frac{110}{{\sigma }_g}\sqrt{\frac{32}{\pi }}\approx 5\times 10^6=5\mathrm{M}$，其中 ${\sigma }_g\approx 7\times 10^{-5}$ 是用批次估计的。注意GPT-2 small有124 M参数，而5 M谷方向仅占其总参数的 $4\%$。这是预期的：超参数化模型的大多数方向是平坦的（“河”），只有少量方向是尖锐的（“谷”）。然而，太小的 ${\eta }_{\min }$ 会导致更高的损失，最低损失出现在大约 ${\eta }_{\min }\approx 5\times 10^{-5}>0$。当 $\eta$ 衰减过快时，热平衡的崩溃导致小的 ${\eta }_{\min }$ 出现非单调行为，我们将在下一节详细说明。

4 谷动态在退火过程中（衰减阶段）

在上一节中，我们已经表明稳态分布的宽度 $\sigma$ 依赖于学习率 $\eta$，表现为 $\sigma \propto \sqrt{\eta }$。在衰减阶段，当 $\eta$ 衰减时，$\sigma$ 将随之衰减。如果 $\eta$ 衰减足够慢，我们可以期望由于准静态热平衡，$\sigma \propto \sqrt{\eta }$ 始终成立。但这是最优的吗？可能不是。另一个极端——$\eta$ 衰减太快——也不是最优的。这种两难局面是因为 $\eta$ 扮演了两个角色：(1) $\eta$ 是控制高斯噪声的温度（我们希望 $\eta$ 小）；(2) $\eta$ 是控制时间尺度的步长（我们希望 $\eta$ 大）。在 ${\ell }_f$ 减少尽可能快的意义上，存在一个“最优”的 $\eta$ 衰减调度。

4.1 玩具模型：最优学习率衰减

现在我们考虑一个学习率衰减调度，即一个序列 ${\eta }_0\ge {\eta }_1\ge {\eta }_2\ge \cdots \ge {\eta }_T$。SGD（方程(1)）的动力学现在变为 $x_{t+1}=x_t-{\eta }_t\left(a{x}_t+{\sigma }_{g}W\right)$。由于该方程是线性的，如果 $p\left(x_0\right)$ 开始时是一个高斯分布，$p\left(x_t\right)$ 将始终保持为高斯分布（尽管高斯宽度随时间变化，记为 ${\sigma }_t$）对于所有 $t\ge 0$。假设在 $t=0$ 时，$p\left(x_0\right)$ 已处于学习率为 $\eta$ 的热平衡，其高斯宽度为 ${\sigma }_0$。高斯宽度 ${\sigma }_t$ 遵循以下递归关系 ${\sigma }_{t+1}^2={\left(1-{\eta }_{t}a\right)}^2{\sigma }_t^2+{\left({\eta }_t{\sigma }_g\right)}^2=\left(a^2{\sigma }_t^2+{\sigma }_g^2\right){\eta }_t^2-2a{\sigma }_t^2{\eta }_t+{\sigma }_t^2$，这是一个关于 ${\eta }_t$ 的二次函数。我们希望选择 ${\eta }_t$ 使得 ${\sigma }_{t+1}$ 最小化 ${\eta }_t=\frac{a{\sigma }_t^2}{a^2{\sigma }_t^2+{\sigma }_g^2},{\sigma }_{t+1}^2=\frac{{\sigma }_g^2{\sigma }_t^2}{{\sigma }_g^2+a^2{\sigma }_t^2}$。通过对第二个方程取反，我们得到 $\frac{1}{{\sigma }_{t+1}^2}=\frac{1}{{\sigma }_t^2}+\frac{a^2}{{\sigma }_g^2}$，这意味着 $\left\{\frac{1}{{\sigma }_t^2}\right\}$ 构成了一个等差数列。显然 $\frac{1}{{\sigma }_t^2}=\frac{1}{{\sigma }_0^2}+\frac{a^{2}t}{{\sigma }_g^2}$。相应地，

$${\eta }_t=\frac{\frac{1}{a}}{1+\frac{{\sigma }_t^2}{a^2}\left(\frac{1}{{\sigma }_0^2}+\frac{a^{2}t}{{\sigma }_g^2}\right)}\approx \frac{\frac{\eta }{2}}{1+\frac{t}{t_h}}\left(t_h\equiv \frac{2}{a\eta }\right)$$

${}^3$ 当 $({\beta }_1,{\beta }_2)=(0,0)$ 时，SignGD 是 Adam 的特殊情况。
其中 $t_h$ 是将 ${\eta }_t$ 减半所需的时间，因此表示学习率衰减的时间尺度。回想一下 $\overline{{\ell }_f}=C\eta$，所以 $\overline{{\ell }_{f,t}}=C{\eta }_t$ 具有与 ${\eta }_t$ 相同的衰减形式。我们对最优调度做几点备注。
备注1：渐近行为 当 $t\to \infty$ 时，学习率 ${\eta }_t\propto t^{-1}$，标准差 ${\sigma }_t\propto t^{-1/2}$，损失 $\overline{{\ell }_{f,t}}\propto t^{-1},I_t=1/{\sigma }_t^2\propto t(I_t$ 是高斯均值的费舍尔信息量)。
备注2：在 $t=0$ 时的不连续性。一个有趣的观察是 ${\eta }_0\ne \eta$ 而是 ${\eta }_0\approx \frac{\eta }{2}$。这是有道理的，因为既 ${\eta }_0=\eta$ 也不 ${\eta }_0=0$ 导致损失减少。这种不连续性违背了连续学习率调度的常见智慧。
备注3：当 $\eta \to \infty$ 时，衰减时间是有界的。假设我们要将学习率从稳定值 $\eta$ 降低到最后值 ${\eta }_{\min }$。最优衰减需要时间 $T_d=\frac{2}{a{\eta }_{\min }}\left(1-\frac{{\eta }_{\min }}{\eta }\right)<$ $\frac{2}{a{\eta }_{\min }}$。请注意，衰减时间 $T_d$ 有一个上限 $T^{\ast }\equiv \frac{2}{a{\eta }_{\min }}$，独立于 $\eta$，这意味着只要使用足够的时间（超过 $T^{\ast }$ ）进行衰减，原则上可以任意增加稳定的 学习率 $\eta$ 而不必担心因衰减不足引起的额外损失。
备注4：SignGD 的最优调度除 $t_h$ 外与其他相同。SignGD 的最优 $\eta$ 衰减调度具有相同的形式 ${\eta }_t=\frac{2}{1+\frac{t_h}{a}}$，尽管 $t_h\equiv \sqrt{2\pi }\frac{{\sigma }_g}{a\eta }$ 稍有不同。详细推导请参阅附录C。

4.2 热力学：傅里叶传导定律，第二热力学定律

在上述分析中，学习率 $\eta$ 具有两个角色：温度和时间尺度，这使得与热力学建立对应关系变得复杂。我们现在研究一种简化的双温度设置，其中类比变得更加清晰。假设快参数 $x$ 达到其与学习率 ${\eta }_A$ 的热平衡。在 $t=0$ 时，我们突然将学习率切换到 ${\eta }_B<{\eta }_A$。热宽度 ${\sigma }_t$ 和热损失 $\overline{{\ell }_{f,t}}\equiv \frac{1}{2}a{\sigma }_t^2$ 如何随时间演变？
回想SGD在稳态分布中的基本事实：在平坦极限 $a\ll \frac{2}{\eta }$ 下，我们有 $\sigma \approx \sqrt{\frac{\eta }{2a}}{\sigma }_g$，以及 $\overline{{\ell }_f}=\frac{1}{2}a{\sigma }^2=\frac{1}{4}\eta {\sigma }_g^2$。在 $t=0$ 时，我们有 σ0=ηA2aσg.{σt}\sigma_{0}=\sqrt{\frac{\eta_{A}}{2 a}} \sigma_{g} .\left\{\sigma_{t}\right\}σ0​=2aηA​​ ​σg​.{σt​} 演变如下 ${\sigma }_{\ell +1}^2=$ $\left(a^2{\sigma }_t^2+{\sigma }_g^2\right){\eta }_B^2-2a{\sigma }_t^2{\eta }_B+{\sigma }_t^2$，其中划掉的项可以在平坦极限下忽略。我们感兴趣的是 $\overline{{\ell }_{f,t}}$ 如何演变：

$$\overline{{\ell }_{f,t+1}}-\overline{{\ell }_{f,t}}=\frac{1}{2}a\left({\sigma }_{t+1}^2-{\sigma }_t^2\right)=\frac{1}{2}a{\eta }_B\left({\sigma }_g^2{\eta }_B-2a{\sigma }_t^2\right)=-2a{\eta }_B\left(\overline{{\ell }_{f,t}}-\overline{{\ell }_{eq}}\left({\eta }_B\right)\right)$$

其中 $\overline{{\ell }_{eq}}\left({\eta }_B\right)\equiv \frac{{\eta }_B{\sigma }_g^2}{2}$ 是在平衡条件下给定 $\eta ={\eta }_B$ 的平均热损失。这个方程类似于傅里叶热传导定律 $Q=k\left(T_A-T_B\right)$ ：当一个高温物体（温度 $T_A$ ）接触一个较冷的表面（温度 $T_B$ ）时，热传导功率 $Q$ 与其温差成正比，导致指数收敛。类似地，方程(4) 具有指数衰减解 $\overline{{\ell }_{f,t}}=\overline{{\ell }_f}\left({\eta }_B\right)+\left(\overline{{\ell }_f}\left({\eta }_A\right)-\overline{{\ell }_f}\left({\eta }_B\right)\right)\exp \left(-2a{\eta }_{B}t\right)\ge \overline{{\ell }_f}\left({\eta }_B\right)$。不等式 $\overline{{\ell }_{f,t}}\ge \overline{{\ell }_f}\left({\eta }_B\right)$ 与第二热力学定律有关。简单地说，当一个高温物体接触一个冷却恒温器时，高温物体不能被冷却到低于冷却恒温器的温度（无需额外功）。作为合理性检查，我们在附录D中显示：通过使方程(4) 连续，我们也可以获得方程(3) 中的 $1/t$ 调度。

4.3 实验

玩具实验 我们测试在方程(3) 中推导出的调度的最优性。我们选择损失景观 $\ell ={\sum }_{i=1}^n\frac{1}{2}a{\theta }_i^2(a=2,n=10000)$ 并初始化 ${\theta }_i\sim \mathcal{N}(0,1)$。我们运行SGD，学习率为 $\eta =0.1$（手动注入高斯梯度噪声 ${\sigma }_g=0.1$），共10000步以达到其稳态分布。然后我们执行学习率衰减调度 ${\eta }_t=\frac{bu}{1+\frac{t}{t_h}}$，使用各种组合的 $\left(b,t_h\right)$。我们在图3(a) 中绘制最终损失。我们的理论结果表明 $b=1/2$ 和 $t_h=\frac{2}{a\eta }=10$ 提供最佳结果（最低损失），这由相图验证。我们还在(b) 和© 中绘制了沿 $t_h$ 和 $b$ 的两个切片，显示最终损失对 $t_h$ 比对 $b$ 更敏感。为了模拟各向异性，我们还尝试了一个各向异性损失 $\ell ={\sum }_{i=1}^n\frac{1}{2}{a}_i{\theta }_i^2\left(a_i=10^{-2+4i/n},n=10000\right),{\theta }_i\sim \mathcal{N}(0,1)$。我们应用学习率衰减

图3：退火玩具示例。(a)(b)© 各向同性损失 $\ell ={\sum }_{i=1}^n\frac{1}{2}a{\theta }_i^2(a=2,n=10000)$。通过应用衰减调度 ${\eta }_t=b{\eta }_0/\left(1+t/t_h\right)$ 获得的最终损失。理论最小值 $\left(b,t_h\right)=(0.5,10)$（标记为星号）与数值结果一致。(d) 各向异性损失 $\ell ={\sum }_{i=1}^n\frac{1}{2}{a}_i{\theta }_i^2\left(a_i=10^{-2+4i/n},n=10000\right)$。我们设置 $b=0.5$ 并尝试 $t_h=10,100,1000$。对于大的 $a$，损失大致保持不变，因为有均分定理在第3节中。然而，小锐度方向具有更高的损失，因为它们的最佳衰减时间 $t_h\propto 1/a$ 更大，因此需要更长时间才能收敛。
对LLM的影响 上述结果可以为最近的观察提供见解：(1) 观察到1-sqrt衰减[10] 或优化的衰减[12] 比线性或余弦衰减更好。这些更好的衰减调度与我们推导的 $1/t$ 调度一致。(2) 衰减到零是次优的，正如[13]中观察到的那样。事实上，最优调度暗示它应该花费无限时间才能达到 ${\eta }_{\min }=0$。

5 河流动力学

到目前为止，我们一直在研究 $x$ 的快速动态，假设慢变量 $y$ 是固定的。本节将研究慢动态如何通过熵力受到快动态的影响。

5.1 玩具模型：熵力

回想一下我们的二维玩具河流-山谷景观是 $l(x,y)=\frac{1}{2}a(y)x^2+c(y)\equiv {\ell }_f+{\ell }_s$，其中 ${\ell }_f$ 和 ${\ell }_s$ 分别是快速损失和慢速损失。山谷的锐度由 $a(y)$ 控制，而 $c(y)$ 控制山谷底部。优化器的动力学可以看作是沿 $x$ 的快速动态和沿 $y$ 的慢速动态。给定一个固定的 $y$，$x$ 的稳态分布为 $p_y(x)=\frac{1}{\sqrt{2\pi }\sigma (y)}{e}^{-\frac{x^2}{2\sigma (y{)}^2}}$。我们已经证明 $\sigma (y)=d\left(\eta ,{\sigma }_g\right)/\sqrt{a(y)}$，其中对于SGD，$d=\sqrt{\eta /2}{\sigma }_g$，而对于SignGD，$c=(\pi /8{)}^{1/4}\sqrt{{\sigma }_g\eta }$。熵力定义为 ${\ell }_f$ 沿 $y$ 的平均梯度：

$$F_{\mathrm{ent}}=-{\bar{g}}_y=-\frac{1}{2}{a}^{\prime }(y)\overline{x^2}=-\frac{1}{2}{a}^{\prime }(y)\sigma (y{)}^2=-\frac{d^2\left(\eta ,{\sigma }_g\right)}{2}\frac{a^{\prime }(y)}{a(y)}$$

负号意味着熵力指向锐度减小的方向。山谷底部 ${\ell }_s$ 的负梯度为$F_{\mathrm{btm}}=-c^{\prime }(y)$。总“力”为 $F=F_{\mathrm{ent}}+F_{\mathrm{btm}}$。
定义熵 注意到 $a^{\prime }(y)/a(y)$ 在 $F_{\text{ent }}$ 中可以写成更紧凑的形式 $(\log a(y){)}^{\prime }$。我们可以定义 $S\equiv -\frac{d^2\left(\eta ,{\sigma }_g\right)}{2}\log a(x)$，然后 $F_{\text{ent }}=\nabla S$。
熵陷阱定义为 $F_{\mathrm{btm}}\cdot F\le 0$。当熵力阻止优化器沿河下降时，尽管优化器能够“看到”正确的方向，也会发生熵陷阱。具体例子在附录E中讨论。

5.2 热力学：熵，热力学第三定律

我们想从热力学的角度进一步解释为什么 $S(x)\propto -\frac{1}{2}\log a(x)$ 可以被解释为熵。在物理学中，熵被定义为离散系统中的 $S_{\text{phy }}=-{\sum }_i{p}_i\log p_i$ 或

图4：测试LLM中熵力的存在。左：不同稳定学习率 ${\eta }_{\max }=0.0003,0.0006,0.0012$ 和相同 ${\eta }_{\min }=0.0006$ 的各种学习率调度。右：根据学习率总和绘制验证损失。对于不同的 $\eta$，曲线大致对齐，表明略微负的熵力，对应于沿河流逐渐变窄的山谷。
连续系统中的 $S_{\text{phy }}=-\int dxp(x)\log p(x)$。高斯分布 $p(x)=\frac{1}{\sqrt{2\pi \sigma }}{e}^{-\frac{x^2}{2{\sigma }^2}}$ 因此具有熵 $S_{\text{phy }}=\frac{1}{2}\log \left(2\pi {\sigma }^2\right)+\frac{1}{2}$。插入 $\sigma =d/\sqrt{a}$ 得到 $S_{\text{phy }}=-\frac{1}{2}\log a+$ $\frac{1}{2}\log (2\pi d)+\frac{1}{2}$，其随着 $a$ 的变化表现为 $S\propto -\frac{1}{2}\log a$。这与玻尔兹曼熵方程 $S=k_b\log W$ 类似，其中 $k_b$ 是玻尔兹曼常数，而 $W$ 是微观状态的数量（类似于 $\sigma$）。玻尔兹曼熵方程是热力学第三定律的基础。

5.3 实验

LLM实验 我们想确定在LLM训练中熵陷阱现象发生的程度。技术上，对于大型模型，熵力很难计算：按定义，熵力是三阶导数，因为它们是锐度（二阶导数）的梯度。然而，我们可以通过损失曲线与学习率总和的对齐来探测熵力的存在。在梯度流极限 $(\eta \to 0)$ 下，慢动态仅由学习率总和控制 [12]，即我们应期望以下两种调度给出相同的最终状态和损失：(i) 学习率为 $\eta$，共 $A$ 步；(ii) 学习率为 $2\eta$，共 $A/2$ 步。然而，对于有限的 $\eta$，由于熵力的存在，这两种调度可能不对齐，因此它们的偏差是熵力大小和方向的指标。由于 ${\ell }_s$ 不可直接测量，我们可以尝试控制 ${\ell }_f$ 相同（根据第4节要求 ${\eta }_{\min }$ 相同），并测量 $\ell$ 作为 ${\ell }_s$ 的代理。
我们测试了一系列具有不同稳定学习率 $\eta =0.0003,0.0006,0.0012$ 的调度（图4左）。稳定阶段可能持续 $1000i$ 步 $(i=0,1,2,3,4,5)$，衰减阶段持续3k步，余弦过渡到最终学习率 ${\eta }_{\min }=0.0006^4$。对于每个 $\eta$，我们根据稳定阶段的持续时间变化绘制其验证损失与 $\eta$ 总和的关系。图4(b) 显示不同 $\eta$ 的曲线合理地相互对齐，尽管较小的 $\eta$ 在相同 $\eta$ 总和下似乎产生略低的损失，类似于[12]中的观察结果。这一结果表明LLM平均具有略微变窄的山谷结构（相应地，熵力略微为负）。然而，由于计算资源限制，我们的训练处于早期阶段。有趣的是研究当进行更多训练步骤时，熵力是否代表了LLM训练的更显著限制（此时山谷可能变得更陡峭，熵力更大）。

6 发现总结

学习率的作用 我们了解到学习率 $\eta$ 在控制训练动态中有三个作用。(1) 高斯宽度：$\eta$ 起到温度的作用，控制快速方向上的高斯宽度。(2) 熵力大小：高斯宽度结合山谷锐度共同控制熵力。(3) 时间尺度：控制步长。

${}^4$ 尽管 ${\eta }_{\min }$ 带有“min”下标，它不一定表示最后阶段的最小学习率。最后阶段可以是衰减 $(\eta =0.0012)$、稳定 $(\eta =0.0006)$ 或增长 $(\eta =0.0003)$。关键是所有调度都有相同的最终学习率，记为 ${\eta }_{\min }$。
什么决定了最终损失？总之，我们的结果表明最终损失主要取决于学习率总和 $D$（控制 ${\ell }_s$，见第5节）和 ${\eta }_{\min }$（控制 ${\ell }_f$，见第3节），但也有由于熵力 ${\Delta }_{\text{entropic }}$（见第5节）和由于退火不足 ${\Delta }_{\text{anneal }}$（见第4节）引起的小修正项。

$${\ell }_{\text{final }}=\ell \left(D,{\eta }_{\min }\right)+{\Delta }_{\text{entropic }}+{\Delta }_{\text{anneal }}.$$

实际上，对于GPT2的早期训练阶段，我们发现 ${\Delta }_{\text{entropic }}\sim 0$ 大致成立，并且当退火阶段不小于3k步时 ${\Delta }_{\text{anneal }}\sim 0$。如果我们假设 ${\Delta }_{\text{entropic }}$ 和 ${\Delta }_{\text{anneal }}$ 可以忽略，唯一减少损失的方法是减少 $\ell \left(D,{\eta }_{\min }\right)$，这涉及减少 ${\eta }_{\min }$ 和/或增加 $D$。通过在稳定阶段使用更大的步长可以增加 $D$，这一点已在附录G的实验中得到验证。

7 相关工作

优化的物理机制 有限步长的随机梯度下降的动力学与梯度流不同。有限学习率 $\eta$ 可以诱导隐式正则化 $\frac{n}{2}\Vert \nabla \ell {\Vert }^2$ [14]，并且随机梯度也具有各种隐式偏差 [15, 16, 17]，引导优化趋向更平坦的极小值 [18, 9]，大特征方向 [19]，最大化边缘 [20, 21]，以及冗余神经元/方向 [16, 22]。除了这些相当普遍的现象外，还进行了大量研究以理解神经网络的损失景观，特别是在过参数化的情况下。研究表明，大型模型表现出模式连通性 [23, 24]，这也与最近发现的LLM的河谷景观相关 [5, 7]。
LLM的学习率调度多种多样：余弦衰减 [25]、循环 [26]、Noam [27] 和权重稳定衰减（WSD）[8]。近期的研究已经开始展示WSD调度的优势 [5,12,10] 并关注设计更好的衰减调度，例如在 [10] 中提出的1-sqrt调度和在 [12] 中的优化调度。我们的分析提供了使用WSD调度的另一个理论依据，并解析推导出一个最优衰减调度，其衰减形式为 $1/t$（在各向同性假设下）。
热力学与学习 尽管我们是第一个建立热力学与LLM训练动力学之间映射关系的人，但热力学长期以来一直启发并与机器学习有关联：将优化视为热力学过程 [1]，学习的统计力学 [4]，信息瓶颈 [28]，熵梯度下降 [29]，玻尔兹曼机 [30]，霍普菲尔德网络 [31]，扩散模型 [32, 33, 34]，网络的热力学解释 [2]。

8 结论

我们提出了一个河谷损失景观的玩具模型，并分析了在SGD和SignGD下的训练动力学。快慢分离使我们能够独立处理山谷和河流方向，从而得出易于解析的结果：快速动态的热平衡和退火，以及慢速动态的漂移。这些解析解在定性和某些情况下定量上与经典热力学概念和定律相似。关键在于，这些结果与大规模语言模型（LLM）训练密切相关，因为近期研究表明LLM损失景观表现出河谷结构。这种优化与热力学之间的双重性提供了一个新的视角来理解和评估现代优化器。虽然我们将留待未来工作，我们在附录F中包含了一个概念验证分析，其中我们通过我们的理论分析了最近提出的FOCUS优化器——其特征为自吸引力 [7]。
局限性。本文中的许多推导采用了物理学家的推理风格——强调直觉、简化和可处理的近似方法——这可能无法满足理论家所期望的数学严谨标准。例如，稳态的高斯近似对许多结果来说并非必要（只有方差重要）。在推导最优学习率衰减调度时，我们假设要么均匀锐度要么一维景观；我们把河流视为直线，尽管实际上可能是弯曲的；为了简单起见，我们忽略了动量和权重衰减。尽管存在这些简化，我们的分析仍然得出了关于LLM训练动力学的非平凡、可检验见解。这项工作的自然扩展包括放松这些假设、在更大规模上验证预测以及推广框架。虽然我们的重点是基于变压器的LLM，但这些受物理学启发的原则可能扩展到其他模型架构。
致谢 Z.L. 和 M.T. 由NSF资助项目PHY-2019786通过IAIFI支持。Z.L. 还得到了Google博士奖学金的支持。

参考文献

[1] Max Welling 和 Yee W Teh。通过随机梯度兰格文动力学实现贝叶斯学习。第28届国际机器学习会议（ICML-11）论文集，第681-688页。Citeseer，2011年。
[2] Shams Mehdi 和 Pratyush Tiwary。人工智能的热力学解释。《自然通讯》，15(1):7859，2024年。
[3] Andreas Engel。学习的统计力学。剑桥大学出版社，2001年。
[4] Yasaman Bahri，Jonathan Kadmon，Jeffrey Pennington，Sam S Schoenholz，Jascha Sohl-Dickstein 和 Surya Ganguli。深度学习的统计力学。《凝聚态物理年度评论》，11(1):501-528，2020年。
[5] Kaiyue Wen，Zhiyuan Li，Jason Wang，David Hall，Percy Liang 和 Tengyu Ma。理解升温-稳定-衰减学习率：从河谷损失景观视角。arXiv预印本arXiv:2410.05192，2024年。
[6] Mingwei Wei 和 David J Schwab。噪声如何影响过度参数化神经网络的黑塞谱。arXiv预印本arXiv:1910.00195，2019年。
[7] Yizhou Liu，Ziming Liu 和 Jeff Gore。FOCUS：一阶集中更新方案。arXiv预印本arXiv:2501.12243，2025年。
[8] Shengding Hu，Yuge Tu，Xu Han，Chaoqun He，Ganqu Cui，Xiang Long，Zhi Zheng，Yewei Fang，Yuxiang Huang，Weilin Zhao 等。MiniCPM：揭示小型语言模型潜力的可扩展训练策略。arXiv预印本arXiv:2404.06395，2024年。
[9] Jeremy M Cohen，Simran Kaur，Yuanzhi Li，J Zico Kolter 和 Ameet Talwalkar。神经网络上的梯度下降通常发生在稳定性边缘。arXiv预印本arXiv:2103.00065，2021年。
[10] Alex Hägele，Elie Bakouch，Atli Kosson，Leandro Von Werra，Martin Jaggi 等。超越固定训练时长的缩放规律与计算最优训练。神经信息处理系统进展，37:76232-76264，2024年。
[11] Andrej Karpathy。NanoGPT。https://github.com/karpathy/nanoGPT，2022年。
[12] Kairong Luo，Haodong Wen，Shengding Hu，Zhenbo Sun，Maosong Sun，Zhiyuan Liu，Kaifeng Lyu 和 Wenguang Chen。用于跨学习率调度预测损失曲线的多幂律。第三届国际学习表示会议论文集，2025年。
[13] Jordan Keller。modded-nanogpt。https://github.com/KellerJordan/modded-nanogpt，2024年。GitHub存储库。
[14] David GT Barrett 和 Benoit Dherin。隐式梯度正则化。arXiv预印本arXiv:2009.11162，2020年。
[15] Daniel Kunin，Javier Sagastuy-Brena，Lauren Gillespie，Eshed Margalit，Hidenori Tanaka，Surya Ganguli 和 Daniel LK Yamins。SGD的极限动态：修改后的损失、相空间振荡和异常扩散。《神经计算》，36(1):151-174，2023年。
[16] Feng Chen，Daniel Kunin，Atsushi Yamamura 和 Surya Ganguli。随机坍缩：梯度噪声如何吸引SGD动态朝向更简单的子网络。神经信息处理系统进展，36:35027-35063，2023年。
[17] Mandt Stephan，Matthew D Hoffman，David M Blei 等。随机梯度下降作为近似的贝叶斯推断。《机器学习研究杂志》，18(134):1-35，2017年。
[18] Zeke Xie，Issei Sato 和 Masashi Sugiyama。深度学习动态的扩散理论：随机梯度下降指数级偏好平坦极小值。arXiv预印本arXiv:2002.03495，2020年。
[19] Jingfeng Wu，Difan Zou，Vladimir Braverman 和 Quanquan Gu。方向很重要：中等学习率下的随机梯度下降的隐式偏差。arXiv预印本arXiv:2011.02538，2020年。
[20] Kaifeng Lyu 和 Jian Li。梯度下降最大化同质神经网络的边界。arXiv预印本arXiv:1906.05890，2019年。
[21] Bohan Wang，Qi Meng，Wei Chen 和 Tie-Yan Liu。同质神经网络的自适应优化算法的隐式偏差。《国际机器学习会议论文集》，第10849-10858页。PMLR，2021年。
[22] Zhi-Qin John Xu，Yaoyu Zhang 和 Zhangchen Zhou。深度学习中冷凝现象综述。arXiv预印本arXiv:2504.09484，2025年。
[23] Timur Garipov，Pavel Izmailov，Dmitrii Podoprikhin，Dmitry P Vetrov 和 Andrew G Wilson。损失面、模式连通性和DNNs的快速集成。神经信息处理系统进展，31，2018年。
[24] Jonathan Frankle，Gintare Karolina Dziugaite，Daniel Roy 和 Michael Carbin。线性模式连通性与彩票假设。《国际机器学习会议论文集》，第3259-3269页。PMLR，2020年。
[25] Ilya Loshchilov 和 Frank Hutter。SGDR：带温重启的随机梯度下降。arXiv预印本arXiv:1608.03983，2016年。
[26] Leslie N Smith。训练神经网络的循环学习率。2017年IEEE计算机视觉应用冬季会议（WACV）论文集，第464-472页。IEEE，2017年。
[27] Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Aidan N Gomez，Łukasz Kaiser 和 Illia Polosukhin。注意力就是你所需要的。神经信息处理系统进展，30，2017年。
[28] Naftali Tishby，Fernando C Pereira 和 William Bialek。信息瓶颈方法。arXiv预印本physics/0004057，2000年。
[29] Pratik Chaudhari，Anna Choromanska，Stefano Soatto，Yann LeCun，Carlo Baldassi，Christian Borgs，Jennifer Chayes，Levent Sagun 和 Riccardo Zecchina。熵-SGD：将梯度下降偏向宽谷。《统计力学期刊：理论与实验》，2019(12):124018，2019年。
[30] David H Ackley，Geoffrey E Hinton 和 Terrence J Sejnowski。玻尔兹曼机的学习算法。《认知科学》，9(1):147-169，1985年。
[31] Hubert Ramsauer，Bernhard Schäfl，Johannes Lehner，Philipp Seidl，Michael Widrich，Thomas Adler，Lukas Gruber，Markus Holzleitner，Milena Pavlović，Geir Kjetil Sandve 等。Hopfield网络是你所需要的。arXiv预印本arXiv:2008.02217，2020年。
[32] Jascha Sohl-Dickstein，Eric Weiss，Niru Maheswaranathan 和 Surya Ganguli。利用非平衡热力学进行深度无监督学习。《国际机器学习会议论文集》，第2256-2265页。pmlr，2015年。
[33] Yang Song，Jascha Sohl-Dickstein，Diederik P Kingma，Abhishek Kumar，Stefano Ermon 和 Ben Poole。通过随机微分方程的分数生成建模。arXiv预印本arXiv:2011.13456，2020年。
[34] Jonathan Ho，Ajay Jain 和 Pieter Abbeel。去噪扩散概率模型。神经信息处理系统进展，33:6840-6851，2020年。

附录

A SGD收敛到高斯稳态分布

假设初始点为 $x_0$ 在 $t=0$。分布是一个delta函数，实际上是一个均值为 ${\mu }_0=x_0$ 且 ${\sigma }_0=0$ 的高斯分布。由于方程(1)的线性性，第$t$步的高斯分布在第$t+1$步演变成一个新的高斯分布，尽管均值 ${\mu }_t$ 和标准差 ${\sigma }_t$ 不同。它们的递归关系为 $(t=1,2,3,\cdots )$

$$\begin{array}{rl}{\mu }_t& =(1-\eta a){\mu }_{t-1}\\ {\sigma }_t^2& =(1-\eta a{)}^2{\sigma }_{t-1}^2+{\eta }^2{\sigma }_g^2\end{array}$$

其解为

$$\begin{array}{rl}{\mu }_t& =(1-\eta a{)}^t{x}_0\\ {\sigma }_t^2& =\left(1-(1-\eta a{)}^{2t}\right){\sigma }^2,\sigma \equiv \frac{{\sigma }_g}{\sqrt{a\left(\frac{2}{\eta }-a\right)}}\end{array}$$

其中 $\sigma$ 是稳态标准差。无论 $x_0$ 为何值，当 $t\to \infty$ 时，${\mu }_t\to 0$ 且 ${\sigma }_t\to \sigma$。收敛的时间尺度为 $t_c=-1/\log (1-\eta a)$。在平坦极限 $a\eta \ll 1,t_c\approx 1/(a\eta )$。

B SGD推导

B. 1 固定学习率

假设一维损失函数 $l(x)=\frac{1}{2}a{x}^2$ 其中 $a$ 是二次函数的二阶导数。具有学习率 $\eta$ 和梯度噪声 ${\sigma }_g$ 的SGD优化器遵循以下动态：

$$x_{t+1}=x_t-\eta \left(a{x}_t+{\sigma }_g{\dot{W}}_t\right)$$

平衡分布是高斯分布 $p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{x^2}{2{\sigma }^2}}$。在平衡状态下，我们应该有 $\mathrm{Var}\left(x_{t+1}\right)=\mathrm{Var}\left(x_t\right)$，即，

$${\sigma }^2=(1-\eta a{)}^2{\sigma }^2+{\sigma }_g^2$$

这给出

$$\sigma =\frac{{\sigma }_g}{\sqrt{a\left(\frac{2}{\eta }-a\right)}}$$

该公式仅在 $0<a<\frac{2}{\eta }$ 时有效。当 $a\to 0$（即平坦）时，有限的 ${\sigma }_g$ 可以导致无限的 $\sigma$（即稳态分布不存在）。当 $a\to \frac{2}{\eta }$ 时，学习率达到所谓的“稳定性边缘”。特别是当 $\eta >\frac{2}{a}$ 时，当 ${\sigma }_g\to 0$ 时，{xt}\left\{x_{t}\right\}{xt​} 序列发散。
方程11在图5中进行了实证测试。方程(11)的一个有些意外的特点是，当 $a\to 0$ 时，$\sigma \to \infty$，尽管我们之前认为平坦方向是好的，尖锐方向是坏的。方程(11)表明平坦方向与尖锐方向一样坏。
能量均分定理 原始的能量均分思想（在经典统计力学中）是，在热平衡状态下，能量在所有自由度之间平等共享。具体来说，每个自由度都会对能量贡献 $\frac{1}{2}{k}_{B}T$（$k_B$：玻尔兹曼常数，$T$：温度），而不考虑底层细节。我们证明了由梯度噪声引起的损失也（大约）独立于锐度 $a:⟨l⟩=\frac{1}{2}a⟨x^2⟩=\frac{1}{2}a{\sigma }^2$。当 $a\eta \ll 2,\sigma \approx \frac{1}{\sqrt{2a}}{\sigma }_g\sqrt{\eta }$。所以 $⟨l⟩=\frac{1}{2}a{\sigma }^2\approx \frac{1}{2}a{\left(\frac{1}{\sqrt{2a}}{\sigma }_g\sqrt{\eta }\right)}^2=\frac{1}{4}{\sigma }_g^2\eta$。忽略常数，有效温度为 $T_{\text{eff }}\propto {\sigma }_g^2\eta$。梯度噪声随批量大小 $B$ 按 ${\sigma }_g\propto \frac{1}{\sqrt{B}}$ 变化。为了降低温度，我们可以增加批量大小或降低学习率。这有一个有趣的含义：在神经网络的训练过程中，可能存在许多这样的平衡方向。无论这些方向有多尖锐，它们对总损失的贡献都相等。假设有 $N$ 个这样的方向，由梯度噪声引起的总损失为 $l_g=N⟨l⟩=\frac{1}{4}N{\sigma }_g^2\eta$。

图5：$\sigma$ 对梯度噪声 ${\sigma }_g$ 和锐度 $a$ 的依赖关系。

B. 2 学习率衰减

现在我们考虑一个学习率调度，即序列 {ηt}t=0T\left\{\eta_{t}\right\}_{t=0}^{T}{ηt​}t=0T​。方程(1)现在变为：

$$x_{t+1}=x_t-{\eta }_t\left(a{x}_t+{\sigma }_g{\dot{W}}_t\right)$$

由于该方程是线性的，如果 $p\left(x_0\right)$ 开始时是一个高斯分布，那么 $p\left(x_t\right)$ 将始终保持为高斯分布（具有随时间变化的高斯宽度，记为 ${\sigma }_t$ ）永远如此。假设在 $t=0$ 时，$p\left(x_0\right)$ 已经处于热平衡状态，其高斯宽度由方程(11)给出，即初始条件为 ${\sigma }_0=\sigma$。高斯宽度 ${\sigma }_t$ 遵循以下递归关系：

$${\sigma }_{t+1}^2={\left(1-{\eta }_{t}a\right)}^2{\sigma }_t^2+{\left({\eta }_t{\sigma }_g\right)}^2=\left(a^2{\sigma }_t^2+{\sigma }_g^2\right){\eta }_t^2-2a{\sigma }_t^2{\eta }_t+{\sigma }_t^2$$

这是一个关于 ${\eta }_t$ 的二次函数。我们希望选择 ${\eta }_t$ 使得 ${\sigma }_{t+1}$ 最小化：

$${\eta }_t=\frac{a{\sigma }_t^2}{a^2{\sigma }_t^2+{\sigma }_g^2},{\sigma }_{t+1}^2=\frac{{\sigma }_g^2{\sigma }_t^2}{{\sigma }_g^2+a^2{\sigma }_t^2}$$

参考论文：https://arxiv.org/pdf/2505.10559