前言

此文章是一个学习性质的文章，上一个博客的综述有提及此文章提出的框架，因此让我们深入了解一下图灵奖得主对智能机器的构想，更加完善一下脑海中关于world models的概念

这个文章太多了，阅读花费了很长时间，在很多不太理解的地方，后续会继续完善。欢迎大家交流指正

摘要

机器如何能像人类和动物一样高效地学习？机器如何能学会推理和规划？机器如何能在多个抽象层次上学习感知和行动计划的表征，从而使其能够在多个时间尺度上进行推理、预测和规划？本立场文件提出了一种用于构建自主智能体的架构和训练范式。它结合了可配置预测世界模型、由内在动机驱动的行为以及通过自监督学习训练的分层联合嵌入架构等概念。

思考：如何实现“自主机器智能”的宏伟蓝图。其核心是内在动机和像生物一样学习，并且试图用一种更通俗易懂的方式来阐述这个复杂的构想。

2、引言

动物和人类展现出的学习能力以及对世界的理解，远远超出了当前人工智能和机器学习（ML）系统的能力。

青少年如何能够在大约20个小时的练习中学会开车，而儿童又如何能在接触量相对较少的情况下学会语言呢？为何大多数人在许多从未经历过的情况下也知道该如何行动呢？相比之下，为了保证可靠性，当前的机器学习系统需要进行大量的试验训练，这样即使是最罕见的情况组合，在训练过程中也能被频繁遇到。即便如此，我们最先进的机器学习系统在诸如驾驶等现实世界任务中，其可靠性仍远远不及人类，即便它们被输入了大量来自人类专家的监督数据，在虚拟环境中经历了数百万次的强化学习试验，并且工程师还为它们预设了数百种行为。

答案可能在于人类和许多动物学习世界模型的能力，即关于世界如何运转的内部模型。

如今，人工智能研究必须应对三大主要挑战：

1、机器如何主要通过观察来学习表征世界、学习预测以及学习行动呢？现实世界中的交互成本高昂且危险，智能体应该在不进行交互（通过观察）的情况下尽可能多地了解世界，以便将学习特定任务所需的、代价高昂且危险的试验次数降至最低。

2、机器如何以与基于梯度的学习兼容的方式进行推理和规划？我们最有效的学习方法依赖于估计和使用损失的梯度，而这只能在可微架构中进行，并且很难与基于逻辑的符号推理相协调。

3、机器如何才能学会以分层的方式，在多个抽象层次和多个时间尺度上表示感知和行动计划呢？人类和许多动物能够构想出多层次的抽象概念，通过将复杂的动作分解为一系列较低层次的动作，从而进行长期预测和长期规划。

本文提出了一种智能体架构，并针对所有三个挑战给出了可能的解决方案。本文的主要贡献如下：

1、一种整体认知架构，其中所有模块均可微，且其中许多模块是可训练的（第3节，图2）。

2、联合嵌入预测架构（JEPA）和分层联合嵌入预测架构（Hierarchical JEPA）：一种用于预测世界模型的非生成式架构，可学习表征的层次结构（第4.4节和第4.6节，图12和图15）。

3、一种非对比性自监督学习范式，该范式生成的表征同时具有信息性和可预测性（第4.5节，图13）。

4、一种将H-JEPA作为不确定条件下分层规划的预测世界模型基础的方法（第4.7节，图16和图17）。

思考：将“学习世界模型”定位为实现高效、自主智能的核心，并围绕这一核心提出了三个亟待解决的根本性问题。分别是主要通过观察来学习、兼容梯度的推理与规划、学习分层表征同时，描绘了后续章节将要展开的技术蓝图，即一个可微分的、分层的、基于自监督学习的全新认知架构

2.1 学习世界模型

人类和非人类动物似乎能够通过观察，以一种与任务无关、无监督的方式，凭借少得难以想象的交互量，学习到大量有关世界运行方式的背景知识。可以假设，这些积累的知识可能构成了通常所说的常识的基础。常识可以被视为一系列世界模型的集合，这些模型能够告知主体什么是可能的、什么是合理的，以及什么是不可能的。利用这些世界模型，动物只需经过很少的尝试就能学会新技能。它们可以预测自己行为的后果，能够进行推理、规划、探索，并设想解决问题的新方案。重要的是，当面临未知情况时，它们还能避免犯下危险的错误。

人类、动物和智能系统使用世界模型的观点在心理学领域由来已久（Craik，1943）。自20世纪50年代以来，使用前向模型（根据当前状态和正在考虑的动作来预测世界的下一个状态）一直是最优控制中的标准做法（Bryson和Ho，1969），这种做法被称为模型预测控制。强化学习中可微世界模型的使用长期以来一直被忽视，但现在正在卷土重来（例如，参见（Levine，2021））。

汽车的自动驾驶系统可能需要进行数千次强化学习试验，才能认识到转弯时车速过快会导致不良后果，并学会减速以避免打滑。相比之下，人类可以凭借对直觉物理学的深入了解来预测此类结果，并在学习新技能时在很大程度上避免采取致命的行动方式。

常识性知识不仅能让动物预测未来结果，还能让它们填补缺失的信息，无论是时间上的还是空间上的。它能让动物对感知做出符合常识的解读。当面对模糊的感知时，常识能让动物摒弃与它们内部世界模型不符的解读，并给予特别关注，因为这可能预示着危险情况，也是学习更完善世界模型的机会。

我认为，设计出能够让机器以无监督（或自监督）方式学习世界模型，并利用这些模型进行预测、推理和规划的学习范式与架构，是当今人工智能（AI）和机器学习（ML）面临的主要挑战之一。一个重大的技术障碍是，如何设计出可训练的世界模型，使其能够处理预测中的复杂不确定性。

思考：世界模型”从一个概念具体化为一个能力集合。它强调了世界模型是实现高效、安全学习的基石，是“常识”的载体。同时，它也点明了通往这条道路上的核心技术难题——如何用可训练的架构来有效处理世界的不确定性

2.2人类和动物学习模型层次结构

 人类和非人类动物在生命的最初几天、几周和几个月里，就学会了关于世界如何运转的基础知识。尽管大量此类知识能很快被掌握，但这些知识似乎太过基础，以至于我们认为它们理所当然。在生命的最初几个月里，我们了解到世界是三维的。我们知道，世界上每一个发光、发声和能触碰的物体都与我们有一定的距离。视觉感知中的每一个点都有距离这一事实，是解释我们从左眼到右眼看世界，或者头部移动时，我们对世界的看法为何会改变的最佳方式。视差运动使深度变得明显，而深度又使物体的概念变得明显，同时也能体现出物体可以遮挡更远处的物体这一事实。一旦确定了物体的存在，就可以根据它们的外观或行为自动将其归入宽泛的类别。在物体这一概念之上，还有这样的认知：物体不会凭空出现、消失、改变形状或瞬移，它们平稳移动，并且在任何时刻都只能处于一个位置。一旦掌握了这些概念，就很容易了解到，有些物体是静止的，有些物体有可预测的运动轨迹（无生命物体），有些物体的行为方式有些难以预测（如水、沙子、风中的树叶等集体现象），还有些物体似乎遵循不同的规则（有生命物体）。在此基础上，诸如稳定性、重力、惯性等直观物理概念便会应运而生。有生命物体对世界的影响（包括主体自身行为的影响）可用于推断因果关系，进而在此基础上获取语言和社会知识。

图1由 Emmanuel Dupoux提供，展示了婴儿似乎在什么年龄习得诸如客体永久性、基本类别、直觉物理学等基本概念。更高级别的抽象概念似乎是在较低级别概念的基础上发展起来的。

有了对世界的这种认知，再结合简单的固有行为和内在动机/目标，动物能够快速学习新任务、预测自身行为的后果并提前规划，预见成功的行动路线并避免危险情况。

为了使事情更具体，我将直接深入描述所提出的模型。

3 自主智能的模型架构

自主智能体的拟议架构如图2所示。它由多个模块组成，各模块的功能描述如下。其中一些模块可以动态配置.

配置器模块接收来自所有其他模块的输入，并通过调节它们的参数和注意力回路，为当前任务对这些模块进行配置。具体而言，配置器可以使感知模块、世界模型模块和成本模块做好准备，以实现特定的目标。

感知模块接收来自传感器的信号，并估计当前的世界状态。对于给定的任务，感知到的世界状态中只有一小部分是相关且有用的。感知模块可以以分层的方式表示世界状态，具有多个抽象层次。配置器会引导感知系统从感知信息中提取与当前任务相关的信息。

世界模型模块是该架构中最复杂的部分。它有两个作用：估计感知未提供的有关世界状态的缺失信息；预测世界可能的未来状态。世界模型可以预测世界的自然演变，也可以预测由行动者模块提出的一系列行动所导致的未来世界状态。世界模型可以预测多种可能的世界状态，这些状态由代表世界状态不确定性的潜在变量参数化。世界模型是世界相关方面的一种“模拟器”。世界状态的哪些方面是相关的，取决于当前的任务。配置器会对世界模型进行配置，以处理当前的情况。预测是在一个抽象表示空间内进行的，该空间包含与当前任务相关的信息。理想情况下，世界模型会在多个抽象层次上处理世界状态的表示，使其能够在多个时间尺度上进行预测。

一个关键问题是，世界模型必须能够呈现对世界状态的多种可能预测。现实世界并非完全可预测。如果世界中存在其他可能具有对抗性的智能体，情况尤其如此。但即使世界中仅有无生命物体，其行为具有混沌性，或者其状态无法完全观测，这种情况也很常见。

构建所提出的架构时，有两个关键问题需要回答：如何让世界模型做出多个合理的预测并表示预测中的不确定性，以及如何训练世界模型。

成本模块以一种称为能量的标量形式来衡量智能体的“不适”程度。能量是由两个子模块计算得出的两个能量项之和：内在成本模块和可训练评判模块。智能体的总体目标是采取行动，以便处于使平均能量最小化的状态。

内在成本模块是硬连接的（不可变、不可训练），它会计算出一个标量，即内在能量，该能量用于衡量智能体瞬间的“不适”程度——可以类比为疼痛（高内在能量）、愉悦（低内在能量或负内在能量）、饥饿等。该模块的输入是感知模块所生成的当前世界状态，或是世界模型所预测的潜在未来状态。智能体的最终目标是从长远来看将内在成本降至最低。这里也是基本行为驱动力和内在动机的所在之处。内在成本模块的设计决定了智能体行为的本质。基本驱动力可以被硬连接到这个模块中。这可能包括：当站立时感觉“良好”（低能量），以激励有腿机器人行走；当影响世界状态时，以激励智能体发挥主观能动性；当与人类互动时，以激励社交行为；当感知到附近人类的快乐时，以激励共情；当能量供应充足时（对应饥饿/饱腹感）；当经历新情况时，以激励好奇心和探索欲；当完成特定程序时，等等。相反，当面对痛苦的情况或易于识别的危险情况（如接近极热环境、火灾等），或使用危险工具时，能量消耗会很高。内在成本模块可以由配置器进行调节，以在不同时间驱动不同的行为。

可训练评判模块会预测未来内在能量的估计值。与内在成本一样，其输入可以是当前的世界状态，也可以是世界模型预测的可能状态。在训练过程中，评判器会从关联记忆模块中提取过去的状态以及后续的内在成本，并通过训练让自己能够根据前者预测后者。评判模块的功能可以由配置器进行动态配置，从而引导系统朝着某个特定的子目标前进，这也是更大任务的一部分。

由于成本模块的两个子模块都是可微的，因此能量梯度可以通过其他模块进行反向传播，特别是世界模型、智能体和感知模块，以用于规划、推理和学习。

短期记忆模块存储有关世界过去、当前和未来状态的相关信息，以及内在成本的相应值。世界模型在对世界的未来（或过去）状态进行时间预测时，以及在空间上补全当前世界状态的缺失信息或纠正不一致信息时，会访问和更新短期记忆。世界模型可以向短期记忆发送查询并接收检索到的值，或者存储新的状态值。评判模块可以通过从记忆中检索过去的状态和相关的内在成本来进行训练。该架构可能与键值记忆网络（Miller等，2016）的架构类似。这个模块可以被视为起到了与脊椎动物海马体类似的一些作用。

行动者模块为动作序列计算建议，并将动作输出给执行器。行动者向世界模型提出一个动作序列。世界模型根据该动作序列预测未来的世界状态序列，并将其输入到代价函数中。给定由代价函数定义的目标（由配置器进行配置），代价函数会计算与所提出的动作序列相关的预估未来能量。由于行动者可以获取预估代价相对于所提出的动作序列的梯度，它可以使用基于梯度的方法计算出使预估代价最小化的最优动作序列。如果动作空间是离散的，可以使用动态规划来寻找最优动作序列。一旦优化完成，行动者会将第一个动作（或一小段动作序列）输出给执行器。这一过程类似于最优控制中的模型预测控制（Bryson和Ho，1969）。

行动者可能包含两个组件：一个策略模块，它直接根据感知产生并从短期记忆中提取的世界状态估计生成动作；以及上述用于模型预测控制的动作优化器。第一种模式类似于丹尼尔·卡尼曼（Daniel Kahneman）的“系统1”，而第二种模式类似于“系统2”（卡尼曼，2011）。

接下来，我们将使用特定符号来表示建筑图纸中的各个组件。附录8.3.3中给出了简要说明。

思考：智能体通过一个内部的世界模型来模拟未来，并通过一个成本模块来评估这些未来的好坏，最终由行动模块通过优化找到最佳行为。整个过程由一个配置器进行宏观调控，以适应不同的任务。

3.1典型的感知 -行动循环 

在一次感知 -行动过程中，模型可以采用两种可能的模式。第一种模式不涉及复杂推理，直接根据感知输出和可能的短期记忆访问生成行动。我们将其称为“模式1”，这与卡尼曼（Kahneman）的“系统1”类似。第二种模式通过世界模型和成本进行推理和规划。它类似于模型预测控制（MPC），这是最优控制和机器人领域中的一种经典规划与推理范式。我们将其称为“模式2”，类比于卡尼曼的“系统2”。这里我们从广义上使用“推理”一词，指的是约束满足（或能量最小化）。许多类型的推理都可以被视为能量最小化的形式。

思考：

• 模式1 (Mode-1): 对应“系统1”，是反应式行为 (Reactive behavior) 。它不涉及复杂的推理，能根据当前的感知直接、快速地产生动作 

• 模式2 (Mode-2): 对应“系统2”，是使用世界模型进行推理和规划 (reasoning and planning using the world model) 。它类似于深思熟虑，通过内部模拟来寻找最优的行动方案

3.1.1：模式1：反应性行为

图3展示了模式1 的感知 -行动过程。感知模块通过编码器模块提取世界状态的表征 $s[0] = \text{Enc}(x)$，其中包含了当前任务的相关信息。策略模块作为行动者的一个组件，根据状态生成一个动作 $a[0] = A(s[0])$。生成的动作被发送到效应器。策略模块的功能由配置器进行调节，配置器会针对当前任务对其进行配置。策略模块实现的是一种纯粹的反应式策略，不涉及通过世界模型进行刻意规划或预测。然而，其结构可能相当复杂。例如，除了状态 $s[0]$之外，策略模块还可以访问短期记忆，以获取关于先前世界状态的更完整信息。它可以利用短期记忆根据当前状态进行联想式动作检索。

虽然成本模块是可微的，但其输出 $f[0] = C(s[0])$会通过外部环境间接受到先前动作的影响。由于环境不可微，因此无法通过成本 ←感知 ←环境 ←动作这一链条对成本进行梯度反向传播。在这种模式下，只能通过用多个扰动动作对环境进行采样来估计成本 $f[0]$相对于动作的梯度，但这种方法速度缓慢且可能存在危险。这一过程对应于强化学习中的经典策略梯度方法。

在模式1期间，系统可以选择性地调整世界模型。它运行一步世界模型，预测下一个状态 $s[1]$，然后等待采取行动后产生的下一个感知信息，并将观察到的世界状态作为预测器的目标。通过使用世界模型，智能体可以设想行动过程并预测其效果和结果，从而减少了通过在外部世界尝试多种行动并衡量结果来进行代价高昂且危险的寻找良好行动和策略的需求。

思考：Mode-1是智能体的“直觉”或“下意识反应”。它速度快、计算开销小，但学习和优化困难。然而，它依然可以在行动的同时，为更复杂的世界模型提供学习和校准的机会。

3.1.2模式2：使用世界模型进行推理和规划

图4描绘了模式2的一个典型感知 -行动过程。

1 、感知：感知系统提取当前世界状态的一种表征 $s[0] = P(x)$。成本模块计算并存储与该状态相关的即时成本。

2、行动提议：行动者提出一个初始行动序列，用于输入世界模型进行评估（$a[0], \ldots, a[t], \ldots, a[T]$）。

3、模拟：世界模型会预测由提议的动作序列 $(s[1], \ldots, s[t], \ldots, s[T])$产生的一个或多个可能的世界状态表示序列。

4、评估：成本模块根据预测的状态序列估算总成本，通常是对时间步长求和 $F(x) = \sum_{t=1}^{T} C(s[t])$

5、规划：行动者提出一个成本更低的新动作序列。这可以通过基于梯度的过程来实现，在该过程中，成本的梯度通过计算图反向传播到动作变量。得到的最小成本动作序列记为 $(\check{a}[0], \ldots, \check{a}[T])$。完全优化可能需要重复相关步骤。

6、行动：在确定了一个低成本的行动序列后，行动者将该低成本序列中的第一个行动（或前几个行动）发送给效应器。对于下一个感知 -行动周期，整个过程将重复进行。

7、记忆：在每次行动之后，来自内在成本和评判器的状态及相关成本会存储在短期记忆中。这些状态 -成本对随后可用于训练或调整评判器。

这一过程本质上就是最优控制文献中所谓的具有滚动时域的模型预测控制（MPC）。与经典最优控制的区别在于，这里的世界模型和代价函数是通过学习得到的。

原则上，步骤5可以使用任何形式的优化策略。当世界模型和成本函数表现良好时，基于梯度的优化方法可能很高效，但如果动作 -成本映射存在不连续性，可能需要使用其他优化策略，特别是当状态和/或动作空间可以离散化时。这些策略包括动态规划、组合优化、模拟退火和其他无梯度方法、启发式搜索技术（例如带剪枝的树搜索）等。

为了简化，该过程是在确定性情况下进行描述的，即当不需要处理由给定初始状态 $s[t]$ 和动作 $a[t]$导致 $s[t +1]$出现多个预测结果的可能性时。在现实情况中，世界很可能具有一定的不可预测性。由于世界本质上是随机的（偶发性不确定性），或者状态表示 $s[t]$包含的关于真实世界状态的信息不完整（认知不确定性），又或者由于训练数据有限、表征能力不足或计算能力受限导致世界模型的预测准确性不高，单一的初始状态和动作可能会产生多个状态。

思考：Mode-2 是一个计算开销很大的过程，因为它需要调动所有模块的资源，并反复运行世界模型进行模拟和优化 。但它的强大之处在于，它使得智能体能够通过内部“推演”来预见未来，并找到最优的行动方案，从而极大地减少了在昂贵且危险的真实世界中进行试错的需求 。

Mode-1和Mode-2的区别，前者不需要世界模型参与，只需要将提取的表征进行直接的决策，，后者则需要通过训练

3.1.3从模式2到模式1：学习新技能

使用模式2很麻烦。该智能体仅拥有一个世界模型“引擎”。它可以由配置器针对当前任务进行配置，但一次只能用于单一任务。因此，与人类类似，该智能体一次只能专注于一项复杂任务。模式1的负担要小得多，因为它只需要对一个策略模块进行一次遍历。该智能体可能拥有多个同时运行的策略模块，每个模块都专门用于特定的一组任务。

图5中描述的过程展示了如何训练策略模块 $A(s[t])$，以对模式2推理得出的最优动作进行近似。系统以模式2运行，生成一个最优动作序列 $(\check{a}[0], \ldots, \check{a}[t], \ldots, \check{a}[T])$。然后，更新策略模块 $A(s[t])$ 的参数，以最小化其输出与该时刻最优动作之间的差异度量 $D(\check{a}[t], A(s[t]))$。经过适当训练后，策略模块可用于在模式1中直接生成动作 $\tilde{a} [0] = A(s[0])$。它还可用于在模式2优化之前递归计算初始动作序列建议：

策略模块可以被视为执行一种均摊推理。

这一过程使智能体能够充分利用其世界模型和推理能力来获取新技能，然后将这些技能“编译”到一个反应式策略模块中，该模块不再需要进行细致的规划。

思考：解释了智能体如何学习并将新技能内化为“本能”。核心思想是将“深思熟虑”的结果“编译”成“快速直觉，首先利用其全部的推理能力（Mode-2）去解决一个新问题，然后将这个解决方案“内化”为一个快速、高效的反应式策略（Mode-1）。这使得智能体能够不断地将耗费心力的规划任务，转化为轻松的本能反应，从而实现持续学习和成长

3.1.4将推理视为能量最小化

在模式2中精心制定合适的动作序列的过程可以被视为一种推理形式。这种推理形式基于使用世界模型进行的模拟，以及针对动作序列对能量进行的优化。更一般地说，“动作”可以被视为代表从一个状态到下一个状态的抽象变换的潜在变量。这种通过模拟和优化进行的规划可能构成了自然智能中最常见的推理类型。

人工智能中许多经典的推理形式实际上都可以表述为优化问题（或约束满足问题）。在用因子图和概率图模型进行的那种概率推理中，情况确实如此。实际上，所提出的架构是一个因子图，其中的成本模块是对数因子。但该架构所支持的推理类型超越了传统的逻辑推理和概率推理。它允许通过模拟和类比进行推理。

思考：这一小节虽然简短，但思想非常深刻。它试图将看似不同的认知活动——如规划、逻辑推理、概率推断——统一到能量最小化这一个共同的数学框架之下。这为实现一个完全基于可微计算的、能够进行复杂推理的通用智能系统，提供了理论上的自洽性

3.2 成本模块作为行为的驱动因素

成本模块的总体架构如图6所示。它由不可变的固有成本模块 $IC_i(s)$ 和可训练的评判或可训练成本 $TC_j(s)$组成。$IC$ 和 $TC$均由多个子模块构成，这些子模块的输出能量进行线性组合。

每个子模块都会赋予智能体一种特定的行为驱动力。线性组合中的权重 $u_i$ 和 $v_j$由配置器模块进行调节，使智能体能够在不同时间专注于不同的子目标。

内在成本模块（IC）是定义智能体基本行为特性的地方。也是可以间接指定基本行为的地方。对于机器人而言，这些术语将包括与“疼痛”“饥饿”和“本能恐惧”相对应的明显本体感受测量，用于测量诸如外部力过载、危险的电气、化学或热环境、过度的功耗、电源中能量储备水平低等情况。

它们还可能包括基本驱动力，以帮助智能体学习基本技能或完成其任务。例如，一个有腿的机器人可能包含一种内在成本，驱使它站立和行走。这还可能包括社交驱动力，如寻求人类的陪伴、认为与人类的互动和来自人类的赞扬是有益的，以及认为人类的痛苦是令人不悦的（类似于群居动物的同理心）。其他内在行为驱动力，如好奇心，或采取具有可观察影响的行动，也可能被纳入，以最大限度地增加用于训练世界模型的情境多样性（Gottlieb等，2013）。

IC可以被视为发挥着与哺乳动物大脑中的杏仁核以及其他脊椎动物中类似结构相似的作用。为了防止出现一种行为崩溃或朝着不良行为的无节制偏离，IC必须是不可变的，且不受学习（也不受外部修改）的影响。

评论家（TC）的角色具有双重性：一是在尽量少使用繁琐的世界模型的情况下预测长期结果；二是让配置器使智能体专注于以习得的成本完成子目标。

一般来说，人工智能主体的行为特性可以通过四种方式来确定：

1、通过明确编写程序，使特定行为在满足特定条件时被激活

2、通过以某种方式定义一个目标函数，使得智能体在找到能最小化该目标的动作序列后，执行期望的行为。

3、通过直接监督来训练智能体以特定方式行事。智能体观察专家教师的行为，并训练模式1策略模块来重现这些行为。

4、通过模仿学习来训练智能体。智能体观察专家教师，并推断出他们行动时其行为似乎在优化的目标函数。这为模式2行为生成了一个评判子模块。这个过程有时被称为逆强化学习。

第二种方法在工程实现上比第一种方法简单得多，因为它只需要设计一个目标，而不需要设计完整的行为。第二种方法也更具鲁棒性：预设的行为可能会因意外情况或环境变化而失效。有了目标，即使遇到意外情况和环境变化，智能体也可以调整其行为以实现该目标。第二种方法利用了智能体的学习和推理能力，以减少设计者预先设定的、可能较为脆弱的先验知识的数量。

思考：文章最后总结了塑造智能体行为的四种通用方法：(1) 硬编码规则；(2) 定义目标函数（本文采用的方式）；(3) 监督学习（模仿专家的动作）；(4) 模仿学习（通过观察专家来推断其背后的目标函数，也称逆强化学习）。作者认为，定义目标函数的方式比硬编码规则更简单、更鲁棒。深入剖析了智能体行为的“动机系统”。它将动机分为先天的、不可变的“内在成本”和后天的、可学习的“评论家”。通过配置器对这两者进行动态组合，智能体不仅拥有了基本的生存和探索驱动力，还能够灵活地追求各种复杂的、后天设定的目标。

3.3训练评判器

一个关键问题是如何训练评判器。评判器的主要作用是预测内在能量的未来值。为此，它会使用短期记忆模块。该模块是一个关联记忆模块，内在成本模块会在其中存储三元组（时间、状态、内在能量）：$(\tau, s_{\tau}, \text{IC}(s_{\tau}))$。所存储的状态和对应的内在能量可能对应于感知到的状态，也可能对应于世界模型在模式2阶段所想象出的状态。该记忆模块可以根据时间 $\tau$检索出状态 $s_{\tau}$，也可以根据时间 $\tau$或状态 $s_{\tau}$检索出能量 $\text{IC}(s_{\tau})$。借助合适的记忆架构，检索过程可能会涉及对键和检索值的插值操作。这一过程如图7所示。

可以通过检索过去的状态向量 $s_{\tau}$以及稍后时刻的内在能量 $IC(s_{\tau + \delta})$来训练评判器，以预测未来的内在能量值。然后可以优化评判器的参数，以最小化预测损失，例如 $\|IC(s_{\tau + \delta}) - TC(s_{\tau})\|^2$。这是一个简单的场景。可以设计更复杂的方案来预测未来贴现能量的期望值或其分布。请注意，状态向量可能包含关于行动者所采取或设想的行动的信息。

总体而言，这与诸如 A2C等强化学习方法中使用的评判器训练方法类似。短期记忆可以通过键值记忆网络中的记忆模块来实现：将一个查询向量与多个键向量进行比较，从而生成一个得分向量。这些得分经过归一化处理后，作为系数用于输出所存储值的线性组合。它可以被视为一种能够进行插值的“软”联想记忆。其优点之一在于，通过采用合适的新键/值槽分配方案，它能够实现一次性学习，同时还可以在键之间进行插值，并且是端到端可微的。

思考：评论家通过不断回顾短期记忆中的“历史经验”（即过去的状态和后来实际发生的内在成本），学会了“以史为鉴”，从而能够对任何给定的状态（无论是真实的还是想象的）快速地评估其长期的好坏。

4、设计与训练世界模型

可以说，为世界模型设计架构和训练范式是未来几十年人工智能取得实质性进展的主要障碍。本提案的主要贡献之一正是一种用于世界模型的分层架构和训练程序，该模型能够在其预测中呈现多种结果。

训练世界模型是自监督学习（SSL）的一个典型例子，其基本思想是模式补全。对未来输入（或暂时未观察到的输入）的预测是模式补全的一种特殊情况。在这项工作中，世界模型的主要目的被视为预测世界状态的未来表征。

有三个主要问题需要解决。首先，很明显，世界模型的质量在很大程度上取决于训练期间它所能观察到的状态序列的多样性，或者说 (状态、动作、结果状态)三元组的多样性。其次，由于世界并非完全可预测，在给定一个世界状态表示和智能体的一个动作之后，可能会有多种合理的世界状态表示。世界模型必须能够有意义地表示这一可能无限多的合理预测集合。第三，世界模型必须能够在不同的时间尺度和不同的抽象层次上进行预测。

第一个问题涉及到围绕序列决策过程学习的主要问题之一：“训练集”的多样性取决于所采取的行动。该问题将在下面的4.10节中讨论。

第二个问题更为严峻：世界并非完全可预测的。因此，世界模型应该能够呈现出从给定状态以及（可选的）动作中可能产生的多种结果。这可能是当前方案所要解决的最具挑战性的难题之一。这个问题将在下面

第三个问题涉及长期预测和规划问题。人类在抽象层面规划复杂的目标，并使用对世界状态和行动的高级描述进行预测。然后，利用世界模型的短期预测来产生低级行动，将高级目标分解为更基本的子目标序列。这一分解过程会一直持续到逐毫秒的肌肉控制，并根据局部情况进行调整。第4.6节讨论了世界模型如何在多个时间尺度和多个抽象层次上表示行动计划的问题。

思考：明确了训练世界模型属于自监督学习的范畴，并指出了构建一个强大的世界模型所必须克服的三个主要技术障碍：如何获得多样化的经验、如何表示不确定性、以及如何进行分层预测。

4.1自监督学习

自监督学习（SSL）是一种学习范式，在该范式中，学习系统会被训练以捕捉其输入之间的相互依赖关系。具体而言，这通常归结为训练一个系统来判断其输入的各个部分是否相互一致。

例如，在视频预测场景中，系统会被输入两段视频片段，并且需要告诉我们第二段视频片段在多大程度上是第一段的合理延续。在模式补全场景中，系统会得到部分输入（图像、文本、音频信号）以及关于剩余输入的提议，并告诉我们该提议是否是第一部分的合理补全。在接下来的内容中，我们将用 $x$表示输入的已观测部分，用 $y$表示可能未观测到的部分。

重要的是，我们并不要求模型能够从 x预测出 y。原因在于，对于给定的 x，可能存在无数个与之匹配的 y。在视频预测场景中，对于给定的视频片段，有无数个视频片段都可能是其合理的后续内容。明确表示出合理预测的集合可能很困难，甚至无法实现。但仅仅要求系统告诉我们所提出的 y 是否与给定的 x匹配，似乎就没那么麻烦了。

可以在基于能量的模型（EBM）框架下进行通用公式化表达。该系统是一个标量函数 $F(x, y)$，当 $x$ 和 $y$相匹配时，它会产生较低的能量值；当它们不匹配时，则会产生较高的能量值。这一概念如图8所示。数据点用黑点表示。能量函数在数据点周围产生较低的能量值，而在远离高数据密度区域的地方产生较高的能量值，这由能量景观的等高线表示。EBM隐函数公式化表达使该系统能够表示多模态依赖关系，即对于给定的 $x$，有多个 $y$ 值与之匹配。与给定 $x$相匹配的 $y$ 的集合可以是一个单点、多个离散点、一个流形，或者是点和流形的集合。

为了启用模式2规划，应该训练一个预测世界模型，以捕捉过去和未来感知之间的依赖关系。它应该能够根据过去和现在的表征来预测未来的表征。一般学习原则如下：给定两个输入 $x$ 和 $y$，学习两个函数来计算表征 $s_x = g_x(x)$ 和 $s_y = g_y(y)$，使得 $s_x$ 和 $s_y$包含关于 $x$ 和 $y$ 的最大信息量，并且 $s_y$可以很容易地从 $s_x$中预测出来。这一原则确保了在使世界在表征空间中的演变具有可预测性，与在表征中尽可能多地捕捉世界状态信息之间进行权衡。

这样的自监督学习（SSL）系统通过视频训练能够学习哪些概念呢？我们的假设是，它可以习得一系列关于世界运行方式的抽象概念层级体系。

学习小图像区域的表示，使得该表示可以从其在空间和时间上的相邻区域预测得到，这将促使系统提取图像中的局部边缘和轮廓，并检测视频中的运动轮廓。学习图像的表示，使得从一个视角得到的场景表示可以从稍有不同的视角下同一场景的表示预测得到，这将促使系统隐式地表示深度图。深度图是解释相机稍有移动时场景视图如何变化的最简单方式。一旦系统学会了深度的概念，它就能够轻松识别遮挡边缘，以及属于刚性物体的区域的集体运动。三维物体的隐式表示可能会自发出现。一旦物体的概念在表征中出现，像物体恒存性这样的概念可能就会变得容易学习：由于视差运动而消失在其他物体后面的物体会始终再次出现。无生命物体和有生命物体的区别也会随之明晰：无生命物体是那些运动轨迹容易预测的物体。通过训练系统在物体表征层面进行更长期的预测，诸如稳定性、重力、动量等直观物理概念也可能随之产生。可以想象，通过在越来越抽象的表征层面和越来越长的时间尺度上进行预测，关于世界如何运转的越来越复杂的概念可能会以分层的方式被习得。

抽象概念可以通过预测来学习，这一观点由来已久，几十年来，认知科学、神经科学和人工智能领域的许多学者以各种方式阐述过这一观点。问题在于，究竟该如何做到这一点。

思考：为世界模型的训练奠定了理论基础。它将训练任务从“精确预测未来”放宽为“判断未来的可能性”，并引入能量模型(EBM)作为实现这一目标的数学工具。最终的学习目标是在一个抽象的表征空间中，实现信息量和可预测性的最佳平衡

4.2使用隐变量处理不确定性

如上所述，主要问题之一是让模型能够表示多个预测结果。这可能需要使用潜在变量。潜在变量是一种输入变量，其值并非直接观测得到，而是通过推断得出。潜在变量可以被视为对 $x$与一组兼容的 $y$之间可能存在的关系集合进行参数化。潜在变量用于表示无法从 $x$中提取的关于 $y$ 的信息。

想象这样一种场景：$x$是某一场景的照片，$y$是从稍有不同的视角拍摄的同一场景的照片。要判断 $x$ 和 $y$ 是否确实是同一场景的不同视角，可能需要推断相机在这两个视角之间的位移。同样地，如果 $x$是一辆汽车行驶到道路岔口的照片，$y$是几秒钟后这辆汽车在岔道其中一条分支上的照片，那么 $x$ 和 $y$之间的一致性取决于一个可以推断出的二元潜在变量：汽车是向左转还是向右转。

在时间预测场景中，潜在变量代表了仅从 $x$ 和过去的观测值（过去）无法预测的关于 $y$（未来）的信息。它应该包含所有对预测有用，但不可观测或不可知的信息。我可能不知道我前面的司机是会左转还是右转、加速还是刹车，但我可以用一个潜在变量来表示这些可能性。

潜变量能量基模型（LVEBM）是一个依赖于 $x$、$y$ 和 $z$ 的参数化能量函数：$E_w(x, y, z)$。当给定一对 $(x, y)$时，能量基模型的推理过程会找到一个潜变量 $z$ 的值，使得能量最小化。

通过最小化进行的这种隐变量推断使我们能够从能量函数中消去 $z$：

从技术上讲，$F_w(x, y)$应该被称为零温度自由能，但我们仍将其称为能量。

思考：模型处理不确定性提供了具体的数学工具。通过引入一个额外的“潜在变量”z来代表未来中不可预测的部分，模型可以将一个复杂的一对多预测问题，转化为一个寻找能最好地解释“从x到y”这一过程的隐藏信息的优化问题，潜在变量的引入，相当于多了一层思考。

4.3训练基于能量的模型

在讨论能量基模型（EBM）训练之前，需要着重指出的是，EBM 的定义并未涉及概率建模。尽管许多 EBM可以轻松转化为概率模型，例如通过吉布斯分布，但这并非必要条件。因此，能量函数被视为基本对象，且不假定其隐含地表示概率分布的未归一化对数。

训练一个能量基模型（EBM）包括构建一个架构（例如深度神经网络）来计算由参数向量 $\mathbf{w}$进行参数化的能量函数 $F_{\mathbf{w}}(\mathbf{x}, \mathbf{y})$。训练过程必须寻找一个能使能量函数具有合适形态的 $\mathbf{w}$向量。对于训练集中给定的 $\mathbf{x}$，一个训练良好的 $F_{\mathbf{w}}(\mathbf{x}, \mathbf{y})$会为训练集中与 $\mathbf{x}$相关联的 $\mathbf{y}$ 值产生较低的能量，而对其他 $\mathbf{y}$ 值产生较高的能量。

给定一个训练样本 $(x, y)$，训练一个能量模型（EBM）归结为设计一个合适的损失泛函 $L(x, y, F_w(x, y))$，它可以直接表示为参数向量 $L(x, y, w)$ 的函数，并且使得最小化这个损失能让训练样本的能量 $F_w(x, y)$低于任何与 $y$不同的 $\hat{y}$对应的能量 $F_w(x, \hat{y})$。

使训练样本的能量较低很容易：只需让损失是能量的增函数，并且能量有下界即可。

难题在于如何确保与 $y$不同的 $\hat{y}$ 的能量高于 $y$ 的能量。如果没有具体规定来确保只要 $\hat{y} \neq y$就有 $F_w(x, y') > F_w(x, y)$，那么能量景观可能会崩溃：给定一个 $x$，能量景观可能会变得“平坦”，实际上给 $y$ 的所有取值赋予相同的能量。

哪些能量模型（EBM）架构容易出现坍缩现象？一个能量模型是否容易出现坍缩取决于其架构。图10展示了一些标准架构，并指出它们是否会出现坍缩现象。

常规的预测性或确定性生成架构（图10(a)）不会坍缩。对于任何 $x$，都会生成一个单一的 $\tilde{y}$。只要 $y = \tilde{y}$，能量就为零。只要 $D(y, \tilde{y})$ 在 $y$与 $\tilde{y}$不同时严格大于零，任何与 $\tilde{y}$不同的 $y$都将具有更高的能量。

当潜在变量的信息容量过大时，生成式潜在变量架构（非确定性生成）（图10(b)）可能会崩溃。当潜在变量 $z$ 在集合 $Z$上变化时，预测值 $\tilde{y}$ 在集合 $\text{Pred}(s_x, Z)$上变化，该集合必须与与 $x$兼容的 $y$ 的集合相匹配。如果 $Z$太“大”，那么低能量 $y$ 的区域可能会大于高数据密度的区域。如果 $z$与 $y$ 的维度相同，系统很可能会将整个 $y$空间的能量设为零。

当表示 $s_y$ 的信息容量过大时，自动编码器（AE）（图10(c)）可能会失效。例如，如果 $s_y$ 的维度等于或高于 $y$ 的维度，AE可能会学习到恒等函数，

最后，当 $s_x$ 和/或 $s_y$所携带的信息不足时，联合嵌入架构（JEA）（图10(d)）可能会崩溃。如果编码器忽略输入，并生成恒定且相等的编码 $s_x = s_y$，则整个空间的能量将为零。

这些只是结构的几个例子。

我们如何设计损失函数来防止坍缩呢？有两种方法：对比方法和正则化方法。接下来，我将论证对比方法存在缺陷，而从长远来看，正则化（非对比）方法更有可能是更优的选择。

对比方法包括使用一个损失函数，最小化该损失函数会起到降低训练样本 $(x, y)$ 的能量，同时提高适当虚构的“对比”样本 $(x, \hat{y})$ 的能量的作用。对比样本 $\hat{y}$ 的选取方式应确保能量模型（EBM）对高数据密度区域之外的点赋予更高的能量。这意味着要设计一个损失函数，该函数至少在 $F_w(x, \hat{y})$没有比 $F_w(x, y)$足够大时，是 $F_w(x, y)$ 的增函数，是 $F_w(x, \hat{y})$ 的减函数。有许多这样的对比损失函数，其中一些采用单个三元组 $(x, y, \hat{y})$，另一些则需要一批 $y$ 的正样本值和对比样本值。

对比损失函数的一个简单示例如下：

其中 $H$是 $F_w(x, y)$ 的增函数，并且当 $F_w(x, \hat{y})$小于 $F_w(x, y)$加上一个正的边界函数 $m(y, \hat{y})$时，$H$是 $F_w(x, \hat{y})$ 的减函数。这种损失函数的一个简单示例是与距离相关的合页损失：

其中 $[a]^+$ 在 $a$为正数时为恒等函数，否则为零。这使得能量随与数据流形的距离至少呈二次方增长。其他对比损失函数会考虑多个对比样本：函数会考虑多个对比样本：

它必须是第一个参数的增函数，且是所有其他参数的减函数。这种损失函数的一个例子是广为人知的 InfoNCE损失函数：

对比方法非常流行，特别是对于使用配对样本进行训练的孪生网络架构而言，其中 $x$是 $y$ 的失真或损坏版本，而 $\hat{y}$是另一个随机（或适当选择）的训练样本。这包括诸如原始孪生网络之类的方法，以及最近的方法，如 DrLIM、PIRL、MoCO、SimCLR、CPT等。对比方法还包括一些经典方法，例如使用最大似然而无需自动归一化所训练的概率模型。对比样本 $\hat{y}$通常使用蒙特卡罗方法、马尔可夫链蒙特卡罗方法或其近似版本（如对比散度）来生成。生成对抗网络也可被视为对比方法，其中 $\hat{y}$由可训练的生成器网络生成。去噪自编码器及其特殊情况——掩码自编码器，也是对比训练方法的示例，其中 $\hat{y}$是通过损坏干净的 $y$而生成的。附录8.3.3对各种对比方法进行了更详细的讨论。

但对比方法存在两个主要问题。首先，必须设计一种方案来生成或选取合适的 $\hat{y}$。其次，当 $y$处于高维空间，并且如果能量模型（EBM）具有灵活性，可能需要大量的对比样本，以确保在局部数据分布未占据的所有维度上能量都更高。由于维度灾难，在最坏的情况下，对比样本的数量可能会随着表示的维度呈指数级增长。这就是我反对对比方法的主要原因。

但对比方法存在两个主要问题。首先，必须设计一种方案来生成或选取合适的 $\hat{y}$。其次，当 $y$处于高维空间，并且如果能量模型（EBM）具有灵活性，可能需要大量的对比样本，以确保在局部数据分布未占据的所有维度上能量都更高。由于维度灾难，在最坏的情况下，对比样本的数量可能会随着表示的维度呈指数级增长。这就是我反对对比方法的主要原因。

需要注意的是，对比方法和正则化方法并非相互排斥，它们可以同时应用于同一个模型。

正则化方法将如何应用于图10(b - d)的架构？

在潜变量生成架构中，限制 $z$ 的信息容量将限制 $y$空间中可以处于低能量状态的区域。如果 $z$是具有 $k$个可能值的离散变量，那么 $y$空间中最多有 $k$个点的能量为零。如果 $Z$是一个维度为 $d$ 的流形，那么 $y$空间中能量为零的区域最多为 $d$维。

同样，在自动编码器架构中，限制 $s_y$ 的信息容量将限制可以以低能量重构的 $y$空间的体积。

最后，在联合嵌入架构中，最大化 $s_x$所包含的关于 $x$ 的信息以及 $s_y$所包含的关于 $y$ 的信息，将使能够处于低能量状态的 $y$空间体积最小化。

接下来，我们将重点介绍一种自监督学习（SSL）架构——联合嵌入预测架构（JEPA），它可以看作是联合嵌入架构和隐变量生成架构的结合。JEPA是非生成式的，因为它实际上并不预测 $y$，而是根据 $x$ 的表示 $s_x$来预测 $y$ 的表示 $s_y$。

思考：“坍塌”是所有非确定性模型都可能面临的核心问题，并对比了“对比学习”和“正则化学习”这两种解决方案。作者明确表示，由于维度灾难问题，他更推崇正则化的、非对比的学习方法，

4.4联合嵌入预测架构（JEPA）

本文的核心是联合嵌入预测架构（JEPA）。从无法轻易根据 x预测 y这个意义上来说，JEPA并非生成式的。它只是捕捉 x 和 y之间的依赖关系，而不会明确地生成 y 的预测值。

图12展示了一个通用的联合嵌入预测架构（JEPA）。将两个变量 $x$ 和 $y$输入到两个编码器中，生成两种表征 $s_x$ 和 $s_y$。这两个编码器可以不同，它们既不需要具有相同的架构，也不需要共享参数。这使得 $x$ 和 $y$ 在本质上可以不同（例如视频和音频）。预测器模块根据 $x$ 的表征来预测 $y$ 的表征。预测器可能依赖于一个潜在变量 $z$。能量简单来说就是表征空间中的预测误差：

通过对 $z$进行最小化处理可得到总能量：

JEPA的主要优势在于，它在表征空间中进行预测，无需预测 $y$ 的每个细节。这得益于 $y$ 的编码器可以选择生成一种已消除无关细节的抽象表征。

但联合嵌入预测架构（JEPA）可能有两种方式来表示与 $x$兼容的 $y$ 的多个值。一种是 $y$编码器的不变性属性，另一种是潜在变量 $z$，如下所述。

通过编码器不变性实现多模态：编码器函数 $s_y = \text{Enc}(y)$可能具有不变性。如果一个集合中所有的 $y$都映射到 $s_y$ 的同一个值，那么所有这些 $y$都将具有相同的能量。使用联合嵌入预测架构（JEPA），我们失去了生成输出的能力，但获得了一种强大的方式来表示输入和输出之间的多模态依赖关系。

通过潜在变量预测器实现多模态：预测器可以使用潜在变量 $z$来捕捉预测 $s_y$所需的、但 $s_x$中不存在的信息。当 $z$ 在集合 $Z$上变化时，预测器会产生一组合理的预测 $\text{Pred}(s_x, Z) = \{\tilde{s}_y = \text{Pred}(s_x, z) \ \forall z \in Z\}$。例如，如果 $x$是一段汽车驶向道路岔口的视频片段，$s_x$ 和 $s_y$可能分别表示汽车过去和未来的位置、方向、速度以及其他特征，而忽略道路两旁的树木或人行道纹理等无关细节。潜在变量 $z$可以是一个二元变量，用于指示汽车是向左分支行驶（$z =0$）还是向右分支行驶（$z =1$）。如果汽车向左分支行驶，$z =0$产生的能量 $D(s_y, \tilde{s}_y)$会比 $z =1$时更低。

思考：JEPA是一个强大而优雅的架构。它的核心优势在于在抽象的表征空间中进行预测 。这使得模型可以利用编码器的不变性来学会忽略无关紧要、难以预测的细节，同时又可以通过潜在变量来显式地对未来的多种可能性进行建模 。这种设计被作者认为是构建分层、多尺度世界模型的最佳工具

4.5训练JEPA

与任何能量基模型（EBM）一样，联合嵌入预测架构（JEPA）可以使用对比方法进行训练。但正如上文所指出的，对比方法在高维情况下往往效率极低。这里的相关维度是 $s_y$ 的维度，它可能比 $y$小很多，但对于高效训练来说仍然过高。这里的相关维度是 $s_y$ 的维度，它可能比 $y$小很多，但对于高效训练来说仍然过高。

让联合嵌入预测架构（JEPAs）特别有趣的是，我们可以设计非对比方法来训练它们。如第4.3节所述，非对比方法使用正则化器来衡量可以取低能量值的空间体积。对于联合嵌入预测架构（JEPA）而言，这可以通过四个标准来实现，如图13所示：

最大化\(s_x\)关于\(x\)的信息含量

最大化关于 $y$ 的 $s_y$ 的信息含量

使 sy容易从 sx预测得出

最小化预测中使用的潜在变量 $z$ 的信息含量。

准则1 和准则2可防止能量曲面因信息崩溃而变得平坦。它们确保 $s_x$ 和 $s_y$尽可能多地携带其输入信息。如果没有这些准则，系统可能会选择让 $s_x$ 和 $s_y$保持恒定，或者提供的信息很弱，这将导致在输入空间的大片区域内能量保持恒定。

能量项 $D(s_y, \tilde{s}_y)$强制执行该准则，并确保在表示空间中可以从 $x$预测出 $y$。

准则4 通过迫使模型在尽可能少借助潜在变量的情况下预测 $s_y$，防止系统陷入另一种信息崩溃。可以通过以下思想实验来理解这种崩溃。假设 $z$与 $s_y$具有相同的维度。假定预测器是一个参数化函数（例如神经网络），它可以选择忽略 $s_x$，并直接在其输出 $\tilde{s}_y = z$中复制 $z$。对于任何 $s_y$，都可以设置 $\hat{z} = s_y$，这将使能量 $D(s_y, \tilde{s}_y)$为零。这对应于一个完全平坦且塌陷的能量面。

我们如何防止这种崩溃的发生呢？通过限制或最小化潜在变量的信息内容。那该如何做到这一点呢？

通过使 $z$离散、低维、稀疏或有噪声等方法。

一些具体的例子可能有助于直观理解这一现象。假设 $D(s_y, \tilde{s}_y) = \|s_y - \tilde{s}_y\|^2$，并且 $z$是离散的，有 $K$个可能的整数值 $[0, K -1]$。对于给定的 $x$，$\tilde{s}_y$只能有 $K$个可能的值：

因此，这些可能是能量为零的 $s_y$ 的唯一取值，且这样的值只有 $K$个。考虑一个点 $s_y$，它从 $\text{Pred}(s_x,0)$出发，向 $\text{Pred}(s_x,1)$移动。其能量将从零开始，随着 $s_y$远离 $\text{Pred

同样地，假设 $z$是一个维度 $d$低于 $\tilde{s}_y$ 的向量。那么，假设 $\text{Pred}(s_x, z)$是关于 $z$ 的一个平滑函数，则所有可能的预测结果最多会构成 $s_y$空间中的一个 $d$维流形。

更重要的是，假设能量函数通过一个关于 $z$ 的正则化项 $R(z) = \alpha \sum_{i=1}^{d} |z_i|$（即 $z$ 的 $L_1$范数）进行扩充。这将促使 $\check{z}$变得稀疏。与经典的稀疏编码一样，这将使低能量区域由低维流形的并集（如果 $\text{Pred}(s_x, z)$关于 $z$是线性的，则为低维线性子空间的并集）来近似，其维度将由 $L_1$正则化器最小化。

使 $z$成为一个来自熵最大化分布的随机样本，也会产生适当的正则化效果。这是变分自编码器及类似模型的基础。

对能够最小化潜在变量信息内容的正则化方法进行更全面的讨论超出了本文的范围。目前，我们可以提及四类方法：离散化/量化（例如在 VQ - VAE中（Walker等，2021））、降维/秩最小化（例如在隐式秩最小化自编码器中（Jing等，2020））、稀疏化（如在线性稀疏建模（Olshausen 和 Field，1996）、LISTA（Gregor 和 LeCun，2010b）以及非线性稀疏建模（Evtimova 和 LeCun，2022）中），以及模糊化（如在噪声自编码器（Doi等，2007）、变分自编码器（Kingma 和 Welling，2013）以及用于控制问题的变体（Henaff等，2019）中）。

JEPA在表征空间中进行预测的能力使其明显优于直接对y进行预测的生成模型。在视频预测场景中，要预测未来每一帧的每个像素值基本上是不可能的。地毯上纹理的细节、随风摇曳的树叶，或者池塘里的涟漪，都无法被准确预测，至少在较长的时间段内无法做到，而且不消耗大量资源也无法做到。JEPA的一个显著优势是，它可以选择忽略输入中那些不易预测的细节。然而，准则1和准则2将确保被忽略细节的信息量保持在最低限度。我们如何实施准则1和准则2呢？忽略输入中那些不易预测的细节。然而，准则1和准则2将确保被忽略细节的信息量保持在最低限度。

我们如何实现标准1 和标准2呢？换句话说，给定一个参数化的确定性编码函数 $s_y = \text{Enc}_w(y)$，我们如何最大化 $s_y$ 的信息含量呢？如果 $\text{Enc}_w(y)$是可逆的，那么 $s_y$包含了关于 $y$ 的所有信息，但这对于标准3来说可能并非最优，因为 $s_y$会包含许多关于 $y$ 的无关或难以预测的细节。更准确地说，如果函数 $\text{Enc}_w(y)$是最小满射的，即映射到同一个 $s_y$ 的 $y$集合的体积最小，那么 $s_y$关于 $y$ 的信息含量就是最大的。同样的推理也适用于 $x$编码器。为了将这个标准转化为可微损失，我们需要做出一些假设。

VICReg方法（Bardes等，2021）对 $s_x$ 和 $s_y$ 的分布做了一些假设。图14展示了其图形表示。为了最大化 $s_x$ 的信息含量，VICReg使用以下两个子准则：$s_x$ 的各个分量不能是常数；$s_x$ 的各个分量必须尽可能相互独立。这可以通过以下方式近似实现：首先通过一个可训练的扩展模块（例如一个有几层的神经网络）将 $s_x$ 和 $s_y$非线性映射到更高维的嵌入 $v_x$ 和 $v_y$，然后使用一个损失函数，该损失函数包含在一批样本上计算的两个可微损失项：

1、方差：一种合页损失函数，可使批量数据中 $s_y$ 和 $v_y$各分量的标准差保持在某个阈值以上。

2、协方差：一种协方差损失，其中 $v_y$ 的不同分量对之间的协方差被推向零。这会使 $v_y$ 的各分量去相关，进而使 $s_y$ 的各分量在一定程度上相互独立。

相同的标准分别应用于 $s_x$ 和 $v_x$。

思考：为JEPA架构提供了一套优雅的、非对比的训练法则。通过同时最大化输入表征的信息量、最小化预测误差以及最小化潜在变量的信息量这四个目标，系统可以在不使用负样本的情况下，学习到既包含丰富信息又具备高度可预测性的抽象表征，为构建分层世界模型铺平了道路。

4.5.1 VICReg

VICReg的第三个标准是表征预测误差 $D(s_y, \tilde{s}_y)$。在VICReg最简单的实现中，预测器是恒定的（等于恒等函数），这使得表征对于将 $x$转换为 $y$ 的变换具有不变性。在更复杂的版本中，预测器可能没有隐变量，或者可能依赖于离散、低维或随机的隐变量。

当预测器使用一个信息含量必须最小化的潜在变量时，第四个准则是必要的，例如一个维度接近或超过 $\tilde{s}_y$ 的向量。

VICReg 的一个简单实例是学习不变表示，具体做法是让 $x$ 和 $y$成为同一内容的不同视图（或失真版本），将预测器设置为恒等函数，并定义 $D(s_y, \tilde{s}_y) = D(s_y, s_x) = \|s_y - s_x\|^2$。

通过基于梯度的方法推断潜在变量可能很繁琐。但正如附录8.3.3中所解释的，使用摊销推断可以大大降低计算成本。

对比方法确保批次中不同输入的表示是不同的，而VICReg则确保批次中表示的不同成分是不同的。VICReg是对成分进行对比，而传统的对比方法是对向量进行对比，后者需要大量的对比样本。

但使用VICReg和类似的非对比方法训练的JEPA最有前景的方面在于学习分层预测世界模型，我们将在下一节进行探讨。

4.5.2引导联合嵌入预测架构（JEPA）学习“有用”的表征

根据上述列出的训练标准，联合嵌入预测架构（JEPA）在表征的完整性和可预测性之间找到了平衡。什么是可预测的，什么没有被表征，是由编码器和解码器的架构隐式决定的。它们决定了一种归纳偏置，这种归纳偏置定义了哪些信息是可预测的，哪些是不可预测的。

但是，如果有一种方法能使系统偏向于包含与某类任务相关信息的表征，那将很有用。这可以通过添加预测头来实现，这些预测头以 $\tilde{s}_y$作为输入，并经过训练以预测那些容易从数据中推导出来且已知与任务相关的变量。

4.6分层联合嵌入预测架构（H-JEPA）

以非对比方式训练的联合嵌入预测架构（JEPA）模型可能是我们学习世界模型的最佳工具，这些世界模型能够学习相关的抽象概念。当使用变分不变性正则化（VICReg）及类似准则进行训练时，JEPA可以选择训练其编码器，以消除输入中的无关细节，从而使表征更具可预测性。换句话说，JEPA将学习使世界具有可预测性的抽象表征。不可预测的细节将通过编码器的不变性属性被消除，或者被推到预测器的隐变量中。由此被忽略的信息量将通过训练准则和隐变量正则化器被最小化。

需要注意的是，生成式潜变量模型除了将无关细节归入潜变量之外，无法消除这些无关细节。这是因为它们无法生成 $y$ 的抽象（且不变）表示。这就是我们反对使用生成式架构的原因。

JEPA学习抽象概念的能力表明，可以对该架构进行扩展，以处理多个时间尺度和多个抽象层次的预测。直观地说，低层次表征包含了关于输入的大量细节，可用于短期预测。但要以同样的细节水平进行准确的长期预测可能会有困难。相反，高层次的抽象表征或许能实现长期预测，但代价是会丢失大量细节。

让我们举一个具体的例子。在驾驶汽车时，给定接下来几秒内方向盘和踏板的一系列操作建议，司机可以准确预测同一时间段内汽车的行驶轨迹。由于较长时间段的行驶轨迹细节可能取决于其他车辆、交通信号灯、行人以及其他难以预测的外部事件，所以更难预测。但司机仍然可以在更高的抽象层面上做出准确预测：忽略行驶轨迹、其他车辆、交通信号等细节，汽车可能会在可预测的时间范围内到达目的地。这种描述层面不会包含详细的行驶轨迹，但会呈现近似的行驶轨迹，就像在地图上绘制的那样。可以使用离散潜变量来表示多条可选路线。

图15展示了一种用于多级、多尺度世界状态预测的可能架构。变量 $x_0$、$x_1$、$x_2$表示一系列观测值。一级网络，记为 JEPA -1，使用低层次表征进行短期预测。二级网络 JEPA -2 使用高层次表征进行更长期的预测。可以设想具有多个层级的此类架构，可能会使用卷积和其他模块，并在层级之间使用时间池化来对表征进行粗粒度处理并进行更长期的预测。可以使用任何适用于 JEPA 的非对比方法，按层级或全局地进行训练。

我认为，在多个抽象层次上表征世界状态序列的能力对智能行为至关重要。借助世界状态和动作的多层次表征，一个复杂任务可以被分解为越来越详细的子任务，并在结合局部条件时实例化为动作序列。例如，规划像通勤上班这样的复杂任务，可以分解为开车去火车站、赶火车等。开车去火车站又可以分解为走出家门、启动汽车和开车。走出家门需要站起来、走到门口、打开门等。这种分解一直深入到逐毫秒的肌肉控制，而这些控制只有在感知到相关环境条件（障碍物、红绿灯、移动物体等）时才能被实例化。

思考：H-JEPA是JEPA架构的自然延伸，它通过堆叠多个JEPA模块，创建了一个能够同时在不同抽象层次和时间尺度上进行预测的世界模型。这使得智能体能够像人类一样，通过分解任务和分层规划来应对复杂的、长周期的任务

4.7分层规划

如果我们的世界模型能够进行分层预测，那么它能否用于进行分层的模式2推理和规划呢？

分层规划是一个难题，解决方案寥寥无几，其中大多数方案要求预先定义动作的中间词汇。但如果遵循深度学习理念，那些动作规划的中间表示也应该通过学习获得。

图16展示了一种用于分层模式2规划的可能架构，该架构可以利用多尺度世界模型的分层特性。

感知信息通过一系列编码器被编码成多个抽象层次的表征：

预测在各个层级都有发生。高层级进行更长期的预测，而低层级进行更短期的预测。总体任务由一个高层目标定义，在图中表示为 $C(s_2)$。顶层推断出一系列高层动作（$a_2$）以优化该目标。这些高层“动作”并非实际动作，而是低层级预测状态的目标。可以将它们视为低层级状态为使高层预测准确而必须满足的条件。这些条件是否得到满足可以由代价模块 $C(s)$计算得出。这些模块接收低层级状态 $s$ 和高层条件 $a_2$，并衡量该状态在多大程度上满足该条件。定义了这些子目标后，低层级可以进行推断并找到一个能使中层子目标 $C(s)$最小化的低层级动作序列。

刚刚描述的过程是自上而下且贪心的。但可以有利地对优化进行迭代，以便联合优化高级和低级动作序列。配置器可以针对当前情况配置成本模块。

在控制理论中，一个动作仅仅是下一层级需要满足的条件这一观点实际上是一个古老的观点。例如，一个经典的比例伺服机构可以被视为被赋予了一个目标状态。二次成本衡量目标状态与当前状态之间距离的平方，而控制量仅仅与成本关于动作变量的负梯度成正比。

思考：描绘了一个优雅的、端到端的分层规划框架。智能体首先在高抽象层次上进行长期规划，确定一系列抽象的子目标，然后逐层向下分解，直到生成底层的具体动作序列。这使得智能体能够将一个复杂的长期任务，分解为一系列易于管理的短期子任务，极大地提升了规划的效率和能力。

4.8处理不确定性

现实世界并非完全可预测。对未来世界状态的预测存在不确定性，可能有以下几个原因：

1、世界本质上是随机的（第一类随机不确定性）

2、世界是确定的，但具有混沌性，因此如果没有无限精确的感知，就很难进行预测（第二类偶然不确定性）

3、世界是确定性的，但部分可观测（第3类随机不确定性）。

4、世界是完全可观测的，但传感器仅提供关于世界状态的部分信息（认知不确定性，类型1）

5、感知模块提取的世界状态表征并不包含准确预测所需的全部信息（认知不确定性，类型2）。

6、由于世界模型表征能力的限制（有限理性或认知不确定性），该模型不准确。

7、由于世界模型是用有限的数据量进行训练的，所以它不准确（认知不确定性）。

强化学习领域的许多文献都专注于处理环境的随机性。从一开始，人们通常就假定模型、评判器和策略必须表示分布。在本研究中，我们将预测变量的可能随机性纳入一个潜在变量中，该潜在变量可以进行优化、预测或采样。这就是机器学习文献中常说的“重参数化技巧”。我们在这里不需要使用这个技巧，因为我们认为预测的潜在变量参数化是基础的。

图17展示了存在不确定性时的分层规划过程。

在给定层级和时间步的预测，例如 $s[2]$ 需要对应潜在变量 $z[2]$ 的一个样本。该样本可能来自其负对数为正则化项 $R(z[2])$ 的分布。正则化项的参数可以是常量（例如固定的高斯分布），可以通过摊销推理从当前可用数据中预测得到（例如参数由 $s[0]$计算得出的多项分布或高斯分布），也可以由配置器生成。使用先前的预测来配置潜在正则化项会使系统偏向于生成“良好”的轨迹。

随着预测的推进，生成的状态轨迹数量可能呈指数级增长：如果每个潜在变量有 k个可能的离散值，那么可能的轨迹数量将以 $k^t$ 的速度增长，其中 t是时间步数。可以采用有向搜索和剪枝策略，就像经典的蒙特卡罗树搜索（MCTS）那样。对于连续潜在变量，可以从正则化器定义的连续分布中对潜在变量进行采样。

给定所有潜在变量的一个样本，就可以推断出每个层级的最优动作序列。然而，预测过程可能需要对潜在变量进行多次抽样并重复进行，以便涵盖一系列可能的结果。推理过程可用于多次预测，从而得出一个不仅能使预期成本最小化，还能使预期成本的不确定性最小化的动作。

思考：分层规划模型从一个确定性的框架，扩展到了能够处理不确定性的概率性框架。通过在模型的每一层预测中都引入可采样的潜在变量，智能体可以想象出多种不同的未来可能性，并在此基础上进行更鲁棒、更能规避风险的决策。然而，这也带来了如何有效搜索巨大的可能性空间的新挑战。

4.8.1世界模型架构

世界模型的架构细节应取决于智能体所演化的环境类型。        

很可能，联合嵌入预测架构（JEPA）中最佳的模块架构应包含某种门控或动态路由机制。

例如，处理视频中低层次、短期预测的最佳方法是提取简单的局部特征向量，并根据预测的运动将这些特征向量从一帧移动到下一帧。潜在变量可以对位移图进行编码，该位移图可以调节帧与帧之间的路由连接。

对于更高抽象层次的长期预测，相关特征是对象及其相互作用。这种演变可能最好用Transformer架构来建模，该架构具有排列等变性，适合捕捉离散对象之间的相互作用（Vaswani等，2017；Carion等，2020；Battaglia等，2016）。

将世界模型与自我模型分离：自然界复杂且有些不可预测，需要一个带有潜在变量的强大模型来解释这种不可预测性。

另一方面，智能体本身在某种程度上更具可预测性：效应器上的特定动作通常会产生可以确定性预测的运动。这表明智能体应该拥有一个独立的自身模型，也许没有隐变量（Sobal等，2022），因为动作对本体感觉的影响比外部世界的演变或动作对外部世界的影响更容易预测。

反过来，在多智能体场景中，智能体自身的自我模型可以用作其他智能体模型的模板。

思考：为世界模型的具体实现提供了两个关键思路：第一，采用混合架构，用不同类型的网络（如位移网络、Transformer）来处理不同抽象层次的预测；第二，将对外部世界的建模与对自身行为的建模分离开，这不仅简化了问题，还为理解其他智能体提供了基础。

4.9跟踪世界的状态

传统上，深度学习架构中的模块通过向量或多维数组来传递状态。但当被建模对象的状态在相邻时刻仅有微小变化时，这种方法往往效率极低。

智能体的典型行为通常只会改变世界状态的一小部分。如果一个瓶子正从厨房被移到餐厅，那么瓶子、厨房和餐厅的状态将会改变，但世界的其他部分则不受影响。

这表明，应该将世界状态保存在某种可写入的存储器中。每当有事件发生时，仅更新世界状态存储器中受该事件影响的部分，其余部分则保持不变。

为此，可以使用传统的键值关联存储器，这与在记忆增强网络（Bordes等，2015；Sukhbaatar等，2015；Miller等，2016）和实体网络（Henaff等，2017）背景下所提出的方法类似。

世界模型在给定时间步的输出是一组查询 - 值对 $(q[i], v[i])$，这些查询 - 值对用于修改世界状态内存中的现有条目，或添加新条目。

给定一个查询 q，世界状态内存返回……

其中 $k_j$是键，$v_j$是存储的值，函数 $\text{Match}(k, q)$衡量键与查询之间的差异或不相似性，向量 $\mathbf{c}$包含标量系数 $c_j$，函数 $\text{Normalize}(\tilde{\mathbf{c}})$执行某种竞争性归一化或阈值处理，例如常用的 $c_j = \exp(\tilde{c}_j)/[\gamma + \sum_k \exp(\tilde{c}_k)]$，其中 $\gamma$是一个正常数。

通过更新现有条目，可以使用查询（或地址）q 将值 r写入内存：

函数 Update(r, v, c)可以像 $cr + (1 - c)v$一样简单。

如果查询与所有键的距离都很远，内存可能会分配一个新条目，其键为 $q$，对应的值为 $r$。上述示例归一化函数中的常数 $\gamma$可作为可接受的键 - 查询差异的阈值。

人们可以将每个条目视为代表现实世界中某个实体的状态。在上述关于瓶子的示例中，世界模型可能包含键 $k_{bottle}$、$k_{kitchen}$、$k_{dining - room}$，分别代表瓶子、厨房和餐厅。$v_{bottle}$ 的初始值将瓶子的位置编码为“厨房”，$v_{kitchen}$ 的初始值将厨房的物品编码为包含该瓶子，$v_{dining - room}$ 的初始值将餐厅的物品编码为不包含该瓶子。事件发生后，位置和物品信息会被更新。

所有这些操作都可以以可微的方式进行，因此可以通过它们反向传播梯度。

思考：通过将世界建模为一系列可独立更新的“实体”并存储在键值内存中，智能体可以更有效地处理局部变化，这比在每一步都更新一个巨大的状态向量要高效得多

4.10数据流

关于世界的许多知识可以通过单纯的观察来学习。原则上，物理对象的运动定律可以从观察中推导出来，而无需进行干预。但要高效地训练一个世界模型，可能需要更主动或“自主式”的信息收集。

人们可以列出智能体了解世界运行方式的五种信息收集模式：

1、被动观察：智能体正在接收一个传感器数据流（例如视频、音频等）

2、主动注视：向智能体输入一个信息流，在其中可以引导注意力焦点

3、被动能动性：指观察另一个主体对环境施加作用时产生的感官信息流，这种信息流能够让人推断出主体行为对环境状态的因果影响。

4、主动自我运动：智能体从真实或虚拟环境中接收感官信息流，在该环境中，传感器的位置可以被改变，而不会对环境产生显著影响。这可能包括可操控的主动传感器（如距离传感器、热传感器、化学传感器）以及触摸传感器。

5、主动能动性：受主体行为影响的感官信息流。这使得主体能够建立因果模型，在该模型中主体可以学习预测其行为的后果。这种模式将探索 -利用困境凸显出来。

在复杂环境中，为世界模型收集足够的被动数据以捕捉环境行为的足够部分可能并不现实。该模式允许智能体收集信息，以最大限度地加深其对环境的理解。但要做到这一点，可能需要内在动机模块来驱动注意力、好奇心。

主要的开放性问题是，通过被动观察（模式1、2、4）能学到多少，有多少需要自我运动（模式3），又有多少需要完全的自主能动性（模式5）。注：按照要求剔除了不具有实际语意的顺序编号的数字后，

思考：从信息来源的角度，对学习世界模型的方式进行了分类。它提出了一个关键的开放性问题：到底有多少知识可以通过被动观察来学习，有多少需要自我运动，又有多少必须通过与世界进行完全的、主动的交互才能获得？这暗示了为了高效学习，智能体可能需要被内在动机所驱动，去主动探索那些其世界模型尚不确定的地方

5设计并训练行动者

演员模块的作用有三个方面：

1、根据世界模型对模式2动作的预测，推断出使成本最小化的最优动作序列。

2、生成多个潜在变量的配置，这些配置代表了智能体所未知的那部分世界状态。

3、训练用于生成模式1动作的策略网络。

行动和潜在变量之间没有概念上的差异。行动者必须探索这两组变量的各种配置。对于潜在变量，必须探索其配置以在不确定性下进行规划。对于行动变量，必须探索其配置以找到使成本最小化的最优配置。在对抗性场景（如游戏）中，必须探索能使成本最大化的潜在配置。实际上，行动者扮演着优化者和探索者的角色。

当世界模型和代价函数表现良好时，智能体模块可以使用基于梯度的优化过程来推断最优动作序列。为此，它会接收通过代价函数和展开的世界模型进行梯度反向传播所计算出的代价函数梯度估计值。它利用这些估计值来更新动作序列。

当世界模型或代价函数的性质不太好时，基于梯度搜索最优动作序列的方法可能会失败。在这种情况下，可以采用其他搜索/规划方法。如果动作空间是离散的或可以离散化，那么可以使用动态规划方法或近似动态规划方法，如束搜索或蒙特卡罗树搜索。实际上，在最优控制、机器人学或“经典”人工智能领域开发的任何规划方法都可以在此场景中使用。

一旦通过规划/推理/优化过程获得了最优动作序列，就可以将这些动作作为目标来训练一个策略网络。该策略网络随后可用于快速做出决策，或者仅用于在优化阶段之前将提议的动作序列初始化为一个良好的起点。可以针对多个任务训练多个策略网络。该行动者还会生成潜在变量的配置。这些潜在变量代表了智能体未知的那部分世界状态。理想情况下，行动者会系统地探索潜在变量的可能配置。理想情况下，潜在变量的正则化项（如图17中的 $R_1$ 和 $R_2$）应表示可从中采样潜在变量的对数先验分布。但与策略网络类似，我们可以设计一个潜在摊销推理模块来学习潜在变量的分布。良好的分布会产生合理的预测。潜在变量的分布可能取决于当时可用的所有变量。

思考：第五节将行动模块描绘成一个多功能的“优化器和探索器” 。它不仅要负责在已知的世界模型中寻找最佳行动路径，还要负责探索世界模型中的不确定性（通过探索潜在变量）。此外，它还扮演着“老师”的角色，将复杂的规划结果“教”给一个更快速、更简单的反应式网络

6设计配置器

配置器是智能体的主要控制器。它接收来自所有其他模块的输入，并调节它们的参数和连接图。这种调节可以对信号进行路由、激活子网络、集中注意力等。在预测器和感知编码器的上层为Transformer模块的场景中，配置器的输出可以构成这些Transformer模块的额外输入令牌，从而调节它们的连接图和功能。

配置器模块的必要性体现在两个方面：硬件复用和知识共享。能够将同一电路用于多个任务具有明显的优势，特别是当这些任务可以按顺序完成，且资源（如参数内存）有限时。但还有另一个优势：知识复用。一个合理的假设是，为特定环境训练的世界模型只需进行微小修改，就可用于一系列不同的任务。可以设想为该环境构建一个“通用”的世界模型，其中一小部分参数由配置器针对当前任务进行调整。这比为每个技能分别构建世界模型在数据利用和计算效率上都更高。缺点是智能体一次只能完成一项任务。

配置器可以通过调节不同层级的参数，使感知模块为特定任务做好准备。人类感知系统可以针对特定任务做好准备，例如在杂乱的抽屉中寻找物品、在森林里寻找水果或猎物、阅读、统计特定事件、组装两个部件等。对于需要快速检测简单图案的任务，配置器可以调节卷积架构中低级层的权重。对于涉及满足物体间关系的任务（例如用螺丝组装两个部件），可以通过调节高级变换器模块中的标记来进行配置。

世界模型的预测器部分必须能够根据当前任务执行广泛的功能。对于在低抽象层次上进行短期预测的预测器，配置可能意味着动态信号路由。在低层次的视网膜拓扑特征阵列表示中，预测可以简化为单个特征向量的局部位移，并伴随着这些向量的小变换。这可以通过局部门控/路由电路来有效地实现。对于更高抽象层次上的长期预测，可能更适合使用Transformer架构。Transformer模块特别适用于对象之间相互作用的基于对象的推理。原因是Transformer模块的功能在排列上是等变的。由于这一特性，人们不必担心哪个对象被分配给哪个输入令牌：结果将是相同的，并且与输入分配一致。基于模型的机器人学的最新研究提出使用在整个轨迹层面上运行的Transformer，对注意力电路施加约束，以便为因果预测或其他任务配置预测器（Janner等，2021）。

方便的是，通过添加额外的输入令牌，很容易配置变压器块的功能。这些额外的输入具有调节网络其余部分所使用的连接图的效果，从而可以指定各种输入 -输出函数。

或许配置器最重要的功能是为智能体设定子目标，并为该子目标配置成本模块。如3.2节所述，使成本可配置的一种简单方法是调节基本成本子模块线性组合的权重。这可能适用于不可变的内在成本子模块：允许对内在成本进行复杂的调节可能会使智能体的基本驱动力难以控制，包括实现安全护栏的成本项。相比之下，可以设想更复杂的架构，允许对成本中可训练的评判器部分进行灵活调节。与预测器一样，如果将高级成本表述为对象之间的一组期望关系（“螺母是否拧在螺丝上？”），则可以使用经过训练的变压器架构来衡量世界状态与待满足条件的偏离程度。与预测器一样，可以使用额外的标记输入来调节该函数。

一个尚未得到解答的问题是，配置器如何能够学会将一个复杂任务分解为一系列子目标，而这些子目标能够由智能体分别完成。我将把这个问题留待未来研究。

思考：将配置器描绘为智能体的“中央处理器”，它通过动态调节其他模块，赋予了智能体极大的灵活性和任务适应性。这是实现知识复用和高效多任务处理的关键。然而，如何让这个“总指挥”学会进行战略性的任务分解，仍然是一个悬而未决的核心难题

7相关工作

论文中提出的大部分观点并不新颖，它们已经在认知科学、神经科学、最优控制、机器人学、人工智能和机器学习（尤其是强化学习）等领域以各种形式进行了深入讨论。

论文中提出的大多数观点并不新颖，它们已经在认知科学、神经科学、最优控制、机器人学、人工智能和机器学习（尤其是强化学习）等领域以各种形式进行了详细

也许本文的主要原创贡献在于……

1、一种整体认知架构，其中所有模块均可微，且其中许多模块可训练。

2、H-JEPA：一种非生成式的分层架构，用于构建预测性世界模型，该模型能够在多个抽象层次和多个时间尺度上学习表征。

3、一类非对比式自监督学习范式，该范式生成的表征同时具有信息性和可预测性。

4、一种将H-JEPA作为不确定条件下分层规划的预测世界模型基础的方法。

5、以下是将当前提案与相关先前研究进行关联的尝试。鉴于提案的范围，参考文献不可能做到详尽无遗。

7.1训练好的世界模型、模型预测控制、分层规划

最优控制中模型的使用可以追溯到早期的凯利 -布赖森方法（见（Bryson和Ho，1969）及其参考文献，或综述（Morari和Lee，1997））。一些方法支持在线系统识别（Richalet等，1978）。

使用神经网络学习控制模型是一个古老的想法，可以追溯到20世纪90年代初（Jordan和Rumelhart，1992；Narendra和Parthasarathy，1990；Miller等，1995）。在最优控制的背景下，学习类似模式1的策略网络被称为直接逆控制。

在强化学习的背景下，使用预测模型对动作进行模式2风格推理的想法也是一个古老的想法，例如 Sutton 的 Dyna架构（Sutton，1991）。有关详细综述，请参阅（Bertsekas，2019）。

最近，可学习模型的概念在各种情境下重新引起了人们的兴趣（Ha和Schmidhuber，2018b；Ha和Schmidhuber，2018a；Hafner等，2018；Hafner等，2020）（有关基于模型的强化学习的最新综述，请参阅（Moerland等，2020））。

在机器人技术领域，学习世界模型尤为重要，特别是在抓取和操作任务中，样本效率至关重要，而且模拟往往不够准确。实际上，由于经典的强化学习方法在实际应用中需要进行大量的试验，基于机器学习的机器人研究已经在学习控制模型方面取得了有趣的进展（Agrawal等，2016；Finn和Levine，2017；Chua等，2018；Srinivas等，2018；Yu等，2020；Yarats等，2021）。有关近期综述，请参阅（Levine，2021）及其参考文献。

一个具有挑战性的场景是主要输入为视觉信息，并且必须从视频中学习世界模型。早期尝试从简单视频中训练无隐变量的预测模型时，产生了模糊的预测结果（Lerer等，2016）。为了处理预测中的不确定性，可以使用各种类型的隐变量模型，如生成对抗网络（GAN）（Goodfellow等，2014）、变分自编码器（VAE）（Kingma和Welling，2013）、向量量化变分自编码器（VQ - VAE）（van den Oord等，2017）。这些方法的变体已应用于视频预测，并借助GAN（Mathieu等，2015；Luc等，2020）、VAE（Babaeizadeh等，2017；Denton和Fergus，2018；Henaff等，2019）或VQVAE（Walker等，2021）来表示多模态输出并减少模糊性。尽管这些方法中有许多尚未应用于控制问题，但有些已应用于自动驾驶中的车辆轨迹预测（Henaff等，2019；Mercat等，202

正则化潜变量模型的替代方案是对比方法，例如对比预测编码（CPC）（H´enaff等，2019），该方法已通过视频预测应用于学习视觉表征（van den Oord等，2018）。

为了解决多模态/模糊性问题，其他研究工作提出在表征空间中进行视频预测。在一些研究中，表征空间是从一个以监督模式训练的视觉流程中获得的，例如用于执行语义分割（Luc等，2017；Luc等，2018）。不幸的是，对预训练视觉流程的要求降低了这些通过观察学习世界模型的方法的普遍适用性。

与联合嵌入预测架构（JEPA）的理念相同，已有一些关于自动学习视频帧表征的提议，以便能够轻松地对视频帧进行预测。这些提议通常局限于学习低级特征，并且经常使用通过解码器进行重建的方式来防止表征崩塌（Goroshin等，2015a；Srivastava等，2015）。一些作者提议利用时间不变性（或一致性）将图像区域的内容与其实例化参数分离（Wiskott和Sejnowski，2002；Gregor和LeCun，2010a；Goroshin等，2015b）。提议利用时间不变性（或一致性）将图像区域的内容与其实例化参数分离（Wiskott和Sejnowski，2002；Gregor和LeCun，2010a；Goroshin等，2015b）。

至少有一项近期研究将非对比自监督学习（SSL）方法应用于机器人控制的联合嵌入架构，并取得了一定的成功（Pari等，2021；…）。

应用于联合嵌入和预测的对比方法已成功应用于语音识别（Baevski等，2020）（有关自监督学习在语音领域的最新综述，请参阅Mohamed等，2022）。

为了进行状态轨迹预测，近期的研究主张使用Transformer，正如本文所提出的那样。Transformer非常适合表示相互作用的离散对象的动态特性，并且已经成功应用于汽车轨迹的预测（Mercat等，2020）。

一个有趣的提议是轨迹Transformer架构，在该架构中，一个Transformer会接收整个回合内预测状态的序列（Janner等，2021）。可以对注意力模式进行约束，迫使系统只关注过去，从而使其能够以因果方式运行（不关注未来），并训练其根据先前观察或预测的状态、动作和成本来预测下一个状态、动作和成本。

分层规划在很大程度上仍是一个未解决的问题。Wayne和Abbott提出了一种架构，该架构使用了一组经过训练的前向模型，这些模型为较低层指定了中间目标（Wayne和Abbott，2014）。最近的一些研究根据位姿参数为机器人指定了中间目标（Gehring等，2021）。最近的一项提议是Director系统（Hafner等，2022），该系统包含一个通过强化学习进行端到端训练的分层世界模型和规划架构。

在机器人技术领域，人们已经对训练智能体的内在动机这一概念进行了研究（Gottlieb等，2013）。内在成本的存在为引导智能体遵循特定行为并学习特定技能提供了一种可微且高效的方法。

7.2基于能量的模型与联合嵌入架构

对于许多作者来说，基于能量的模型（Energy-Based Model，EBM）指的是一种概率模型，其分布是能量函数负指数的归一化形式。

在本文中，基于能量的模型（EBM）指的是一类更广泛的模型，这类模型将能量函数视为基础，并通过学习直接操控其形态。过去已经提出了许多直接操控能量的方法。事实上，所有传统的基于优化的学习方法都可以被解释为基于能量的方法（LeCun等，2006）。特别是，用于结构预测问题的判别式训练方法可以被表述为基于能量的模型（LeCun等，1998；LeCun等，2006）。

大多数用于无监督学习或自监督学习的基于能量模型（EBM）方法都采用了对比学习的方式。最早的例子是玻尔兹曼机（Hinton和Sejnowski，1983），它是一种基于能量的概率生成模型，通过对比学习进行训练。

大多数用于无监督学习或自监督学习的基于能量模型（EBM）方法都采用了对比学习的方式。最早的例子是玻尔兹曼机（Hinton和Sejnowski，1983），它是一种基于能量的概率生成模型，通过对比学习进行训练。

在十多年的时间里，联合嵌入架构（JEA）的概念基本无人问津，直到我的团队（Chopra等，2005；Hadsell等，2006）以及Geoffrey Hinton的团队（Goldberger等，2005）发表了一系列论文，才使其得以复兴。深度学习复兴之后，有几篇论文将联合嵌入架构用于细粒度识别，包括人脸识别（Taigman等，2014）。

随着自监督学习（SSL）方法的出现，使用对比学习训练的联合嵌入对齐（JEA）在过去几年中得到了广泛应用，相关方法包括PIRL（Misra和Maaten，2020）、MoCo和MoCo - v2（He等，2020；Chen等，2020b）以及SimCLR（Chen等，2020a）。

一些方法可以被视为“蒸馏”方法，在这些方法中，孪生网络的一个分支充当教师，其输出被用作另一个分支的目标。这包括将输出向量量化为离散聚类原型的方法（见Caron等，2020及早期相关研究）。

近年来，出现了许多新的非对比方法，如 BYOL（Grill等，2020）。但本方案所倡导的一类非对比方法通过最大化嵌入的信息含量来防止崩溃。这包括巴洛孪生网络（Barlow Twins，Zbontar等，2021）、VICReg（Bardes等，2021）、基于白化的方法（Ermolov等，2021）以及最大编码率降低方法（见 Dai等，2022及其中的参考文献）。

7.3人类和动物认知

与人类学习相比，当前机器学习方法的局限性显而易见（Lake等，2017a；Zaadnoordijk等，2022）。

幼儿能快速学习抽象概念（Murphy，2002），还能借助一些模型进行探索、设定目标，并规划复杂的动作序列以实现这些目标（Gopnik和Meltzoff，1997；Spelke和Kinzler，2007；Carey，2009；Gopnik等

在认知科学中，大脑构建预测性世界模型的观点很常见，并且启发了人们尝试在机器中重现这一过程（Lake等，2017b；Orhan等，2020）。一些研究致力于构建视频数据集，以测试机器和婴儿的直觉物理常识（Riochet等，2019）。

规划能力是人类智力中被深入研究的一个特征（Mattar和Lengyel，2022）。有证据表明，人们会构建简化的世界表征来进行规划，在这些表征中，无关紧要的细节被抽象掉了（Ho等，2022）。

意识是一个颇具思辨性的话题，因为很难界定意识究竟是什么。我不会去推测所提出的架构的某个版本是否可能具备与意识类似的属性，而只会提及Dehaene及其合作者的研究，他们提出了两种类型的意识，分别称之为C1和C2。C1在很大程度上与注意力的调节有关，而C2则需要一种自我监测能力，这或许类似于本提案中配置器模块所需具备的能力（Dehaene等，2021）。

8讨论、局限性、更广泛的相关性

构建当前方案的认知架构、细化所有细节并让系统能够处理非平凡的任务并非易事。成功之路可能布满了意想不到的障碍，可能需要多年时间才能全部解决这些问题。

8.1提议的模型缺少了什么？

要将所提出的架构实例化并将其转变为一个功能系统，需要付出大量的艰苦工作。在所提出的架构规范内，可能会出现一些看似无法解决的缺陷和隐患。

第一个问题是，能否从视频中构建并训练一个分层联合嵌入预测架构（Hierarchical JEPA）。它能否学习第4.1节中提到的那种抽象概念层次结构？

关于联合嵌入预测架构（JEPA），有一个尚未完全解决的问题是如何精确地对潜在变量进行正则化，以最小化其信息含量。有人提出了一些可能的机制：使潜在变量离散化、低维化、稀疏化或随机化。但目前尚不清楚哪种方法最终会是最佳的。

当前的提议并未规定行动者推断潜在变量实例化和最优动作序列的具体方式。虽然所有模块的可微性原则上使得使用基于梯度的优化方法来推断最优动作序列成为可能，但在实践中，优化问题可能非常困难。特别是当动作空间是离散的，或者当从动作到成本的函数具有高度的非平滑性时，基于梯度的方法可能会失效，这时需要使用其他（无梯度）搜索方法（动态规划、信念传播、蒙特卡罗树搜索、布尔可满足性问题求解等）。

在模式2规划/推理中实例化潜在变量的多种配置可能需要本提案中未描述的额外机制。人类似乎天生具备一种能力，能够自发地在对某一感知的不同解释之间切换，就像内克尔立方体和其他有几种同样合理解释的视觉错觉所展示的那样。在本模型的背景下，对一个模糊感知的不同解释可能由潜在变量的不同值来表示。虽然我们可以设想一些探索机制来系统地探索潜在变量可能值的空间，但这里并未描述此类机制。

目前的提案并未详细说明各个模块的架构。例如，预测器很可能在其微架构中需要某种动态路由和门控电路。用于低层次表征的预测器可能需要专门设计，以表征短期内可能出现的那种对表征的小范围变换。处理高层次表征的预测器模块可能需要更通用的架构来处理对象及其关系。但目前的提案中并未对这些内容进行详细说明。

同样，短期记忆的确切架构和功能，以及它如何被用于表征对世界状态的信念，都有些模糊。最初的记忆网络系统及其后续版本包含这样一种理念，即神经网络可以将联想记忆用作工作记忆，在计算周期之间存储和检索关于世界状态的信念（Bordes等，2015；Sukhbaatar等，2015）。但要让这样的架构在复杂的规划和控制中发挥作用可能会被证明是困难的

在当前提案所有最不为人理解的方面中，配置器模块是最神秘的。特别是在规划一项复杂任务时，配置器应该识别子目标序列，并对智能体进行配置，使其依次完成这些子目标。但具体如何做到这一点并未明确说明。

这仅仅是一份可预见问题的清单，然而，随着所提议系统的实例组合在一起，许多问题必然会浮出水面。

8.2所提方法的更广泛相关性

尽管所提出的架构并非专门为模拟人类和其他动物的自主智能、推理和学习而设计，但我们可以进行一些类比。以下内容带有一定的推测性，旨在将认知科学和神经科学中启发了本研究的一些概念联系起来。

8.2.1这种架构能否成为动物智力模型的基础？

所提出的架构中的许多模块在哺乳动物大脑中都有执行类似功能的对应部分。

感知模块对应于大脑皮层的视觉、听觉和其他感觉区域，以及一些联合区域。世界模型和评判器对应于前额叶皮层的各个部分。内在成本模块对应于基底神经节中参与奖励机制的结构，包括杏仁核。可训练的评判器可能对应于前额叶皮层中参与奖励预测的部分。短期记忆的功能与已知的海马体功能有重叠。配置器可能对应于前额叶皮层中执行执行控制和调节注意力的结构。行动器整合了运动前皮层中详细制定和编码运动计划的区域。

预测世界模型的概念长期以来一直是认知科学中的一个重要概念，而预测编码的概念则一直是神经科学中的一个重要概念。JEPA架构以及相应的非样本对比自监督学习方法在一定程度上与预测编码和高效编码的理念相符。

所提出的架构有一个单一的世界模型引擎，该引擎可由配置器针对当前任务进行配置。我认为，这不仅可以通过硬件复用带来计算优势，还能使知识在多个任务间共享。人类大脑中存在一个可配置的单一世界模型引擎这一假设，或许可以解释为什么人类本质上一次只能执行一项“有意识的”推理和规划任务。一个极具推测性的观点是，意识错觉可能是大脑中类似配置器的模块产生的副作用，该模块负责监督大脑其他部分的功能，并针对当前任务对其进行配置。或许，如果大脑足够大，能够容纳许多独立的、不可配置的世界模型，那么配置器就不再必要，意识错觉也会随之消失。

动物和人类情感的基础是什么？即时情绪（如疼痛、愉悦、饥饿等）可能是大脑结构产生的结果，这些大脑结构的作用类似于所提出架构中的内在成本模块。其他情绪，如恐惧或兴高采烈，可能是大脑结构对结果进行预期的结果，这些大脑结构的功能类似于可训练评判器。

一个通过搜索最优行动来驱动智能体行为的成本模块的存在表明，这里所提出的这类自主智能体将不可避免地拥有类似于情感的东西。与动物和人类类似，机器情感将是内在成本的产物，或是可训练评判器对结果的预期的产物。

8.2.2这会是一条通往机器常识的途径吗？

人们普遍认为，目前没有一个人工智能系统具备任何程度的常识，哪怕是像家猫所表现出的那种水平的常识。动物似乎能够获取足够多关于世界运行方式的背景知识，从而展现出一定程度的常识。相比之下，人工智能系统即使采用自监督模式（例如从文本中）进行（预）训练，其所展现出的常识水平也非常有限，这使得它们在处理问题时显得有些脆弱。

例如，大语言模型（LLMs）似乎拥有从书面文本中提取的数量惊人的背景知识。但人类的许多常识性知识并未在任何文本中体现，而是源于我们与现实世界的互动。由于大语言模型没有与底层现实的直接经验，它们所展现出的常识性知识非常肤浅，可能与现实脱节。

对常识的一种可能的定义是，利用世界模型来填补信息空白的能力，例如预测未来，或者更广泛地说，填补那些无法从感知或记忆中获取的关于世界的信息。按照这个定义，常识是一种从一系列世界模型中，或者从一个可配置以应对当前情况的单一模型引擎中产生的能力。这种对常识的看法完全属于“具身智能”的范畴：常识是一个从低层次抽象到高层次抽象的模型集合，一直涵盖到通过语言获得的知识。

SSL应用于可配置的 H-JEPA能否构成机器常识的基础？经过适当训练和配置的 H-JEPA能否嵌入足够的预测知识并捕捉到关于世界的足够多的依赖关系，从而展现出一定程度的常识呢？

我推测，常识可能源自对世界模型的学习，这些模型捕捉了现实世界中各种观测结果的自洽性和相互依赖关系，使智能体能够填补缺失的信息，并检测出对其世界模型的违背情况。

8.3这一切都与规模有关吗？奖励真的足够吗？

本节回顾了近年来提出的几种通向人类水平智能的潜在途径。经过训练用于预测文本和其他模态的大型Transformer架构展现出惊人的能力，这让一些人声称我们只需扩大这些模型的规模即可（Brown等，2020；Brown等，2020）。强化学习在游戏和其他简单环境中展现出的惊人能力，让另一些人声称奖励就足够了（Silver等，2021）。最后，当前深度学习系统在推理方面的局限性，让一些人声称需要用硬连线电路来增强深度学习系统，以实现符号操作（Marcus和Davis，2019）。

8.3.1仅进行缩放是不够的

大语言模型（LLMs），更广泛地说，采用某种生成式自监督学习方法训练的大规模Transformer架构，在捕捉文本中存在的知识方面取得了惊人的成功。这引发了人工智能界关于是否可以通过扩大这些架构的规模来实现人类水平的人工智能的争论。在这场争论中，我认为仅靠扩大规模是不够的，主要有两个原因。

首先，当前的模型处理的是“分词化”数据，并且是生成式的。每种输入模态都必须转换为编码为向量的“词元”序列（或集合）。虽然这对于本身就是离散词元序列的文本很有效，但对于视频等连续的高维信号则不太适用。用于大语言模型（LLM）风格模型的自监督学习（SSL）训练类型可以被视为一种特殊的无隐变量生成式模型，采用一种称为去噪自编码器（Vincent等，2010）的特殊对比方法进行训练，在这种情况下是掩码自编码器（Devlin等，2018）。因此，它们受到生成式模型、无隐变量模型和对比方法的限制。生成式模型难以表示连续空间中的复杂不确定性。大语言模型通过只处理有限集合中的离散对象（例如字典中的单词）来简化预测中不确定性的表示。表示对预测单词的不确定性归结为生成一个向量，其分量是字典中每个单词（或离散词元）的得分或概率。但这种方法不适用于视频等高维连续模态。

其次，当前的模型仅能进行非常有限形式的推理。这些模型中缺乏抽象的潜在变量，这阻碍了对感知的多种解释的探索，以及为实现某个目标而寻找最优行动方案。事实上，在这类模型中动态地设定目标基本上是不可能的。

8.3.2奖励是不够的

所提出的架构旨在尽量减少系统为学习一项任务而需要在现实世界中采取的行动数量。它通过学习一个世界模型来实现这一目标，该模型能在不采取实际行动的情况下尽可能多地捕捉关于世界的知识。它使用内在成本，这些内在成本是所测量或预测的世界状态的可微函数。这使得该方案更类似于最优控制，而非强化学习。在所提出的模型中，大部分学习发生在世界模型（感知编码器和预测器）层面。在这种情况下，强化学习（RL）的作用是什么呢？

在大多数强化学习（RL）场景中，奖励（或成本，即负奖励）由环境反馈给智能体。换句话说，内在成本模块就是环境本身，因此是一个未知函数。可以通过观察世界的状态、采取一个动作并观察产生的奖励来探测该函数的值。奖励相对于动作或状态的梯度是未知的，必须像策略梯度方法那样通过多次动作试验来估计。在演员 -评论家（Actor - Critic）方法中，奖励函数由一个评论家模块进行近似，该模块经过训练以近似奖励的预期未来值。评论家提供了奖励函数的可微近似。像策略梯度方法那样进行多次动作试验。在演员 -评论家方法中，奖励函数由一个评论家模块进行近似，该模块经过训练以近似奖励的预期未来值。评论家提供了奖励函数的可微近似。

但无模型强化学习的样本效率极低，至少与人类和动物的学习相比是如此，它需要进行大量的试验才能学会一项技能。标量奖励为学习系统提供的反馈信息有限。因此，一个纯粹的强化学习系统即使要学会相对简单的任务，也需要进行大量的试验。基于模型的强化学习显然有可能显著提高样本效率。但问题在于如何训练世界模型：是通过采取行动并获取奖励来训练，还是通过预测世界状态来训练呢？在后一种情况下，奖励显然是不够的：系统中的大多数参数是为了预测现实世界中的大量观测数据而进行训练的。与Silver等人近期发表的一篇立场文件（Silver等，2021）的标题相反，在这种情况下，奖励所起的作用相对较小。

8.3.3我们需要符号来进行推理吗？

如3.1.4节所述，在所提出的架构中，推理可归结为行动者通过使用各种搜索方法来寻找合适的行动和潜在变量组合，以实现能量最小化或约束满足。

如果动作和潜在变量是连续的，并且如果预测器和成本模块是可微的且表现相对良好，那么可以使用基于梯度的方法来进行搜索。但可能存在这样的情况：预测器的输出会随动作的变化而快速改变，并且动作空间本质上是不连续的。这种情况很可能发生在较高的抽象层面，在这些层面上，选择更有可能是定性的。对于自动驾驶汽车而言，一个高层次的决策可能是“在岔路口左转或右转”，而低层次的决策则是一系列的车轮转角。

如果动作空间是离散且基数较小的，智能体可以使用穷举搜索方法。如果动作集的基数以及分支因子过大，智能体可能不得不采用启发式搜索方法，包括蒙特卡罗树搜索或其他无梯度方法。如果成本函数满足贝尔曼方程，则可以使用动态规划。

但基于梯度的搜索方法相对于无梯度搜索方法的效率优势促使我们寻找途径，让世界模型训练过程能够找到层次化表征，利用这些表征，规划/推理问题可以构成原本离散问题的连续松弛。一个悬而未决的问题是，这里提出的推理类型是否能够涵盖人类和动物所能进行的所有推理形式。

总结：

1. 核心愿景与动机作者认为，当前人工智能系统与人类及动物的学习能力存在巨大鸿沟，其根本原因在于机器缺乏“常识” 。常识来源于通过高效学习建立的世界模型 (World Models)——一种关于世界如何运作的内部预测模型 。本文旨在提出一个架构，使机器能主要通过观察来学习世界模型，从而实现高效、自主的智能 。

2. 提出的自主智能认知架构

文章的核心是一个模块化的、所有组件均可微分的认知架构 ，主要包括：

感知模块 (Perception): 接收传感器信号，估计当前世界状态 。

世界模型 (World Model): 架构中最复杂的部分，负责补全缺失信息并预测在想象的动作序列下未来可能的世界状

成本模块 (Cost): 衡量智能体的“不适程度”（能量），是行为的最终驱动力 。它由两部分构成：

        内在成本 (Intrinsic Cost): 不可变的、硬编码的，定义了智能体的基本驱动力，如好奇心、痛苦等​​​​​​

        评论家 (Critic): 可训练的，用于预测未来的内在成本 。

行动模块 (Actor): 提出动作序列，并通过在世界模型中推演，寻找能使未来总成本最小化的最优动作 。

配置器 (Configurator): 扮演“执行控制”的角色，根据当前任务，动态配置其他所有模块 。

3. 核心技术方案：分层JEPA (H-JEPA)

为了实现可训练的世界模型，文章提出了一个关键的技术架构——

分层联合嵌入预测架构 (Hierarchical Joint-Embedding Predictive Architecture, H-JEPA) 。

非生成式: JEPA不在像素等高维空间进行预测，而是在一个抽象的表征空间中进行 。这使得它可以忽略无关和不可预测的细节，从而专注于学习世界的抽象结构 。

非对比自监督学习: JEPA采用非对比的学习方法（如VICReg）进行训练，通过最大化表征的信息量和可预测性，同时最小化用于处理不确定性的潜在变量的信息量，来避免模型“坍塌” 。

分层结构: 通过堆叠多个JEPA模块，H-JEPA可以在不同抽象层次和时间尺度上进行预测，为分层规划提供了基础 。

4. 行为模式与技能学习

该架构有两种行为模式，类似于人类的“快思”与“慢想”：

模式1 (Mode-1): 快速的、反应式的行为，直接通过一个训练好的策略网络从感知映射到动作，不涉及世界模型规划 。

模式2 (Mode-2): 耗费资源的、深思熟虑的规划，通过世界模型模拟多种未来可能性，并优化动作序列以最小化长期成本 。

技能学习: 智能体可以通过Mode-2的规划结果，来训练Mode-1的策略网络，从而将耗时的“深思熟虑”“编译”成快速的“本能反应”，实现新技能的内化 。

5. 对其他技术路线的观点

作者明确反驳了当前AI领域的几种流行观点：

“扩展模型规模就够了”是错误的: LeCun认为，现有的大语言模型（LLM）等是生成式的，难以处理高维连续数据（如视频）中的不确定性，且缺乏真正的推理规划能力 。

“奖励就够了”是错误的: 纯粹的无模型强化学习因外部奖励信号的信息量过低而导致样本效率极差 。智能体的大部分学习应来自信息量更丰富的世界状态预测，而非稀疏的奖励 。

推理不需要内置符号系统: LeCun主张，推理可以被视为一种在可微世界模型中的能量最小化过程，通过基于梯度的优化即可实现，无需硬编码的符号操作 。

全文结论

这篇文章为实现通用人工智能（AGI）提出了一个宏大而自洽的理论框架。其核心是构建一个分层的、可微分的、非生成式的世界模型 (H-JEPA)，让智能体能够像人类一样，主要通过自监督学习来高效地理解世界。智能体的行为由内在动机驱动，并通过“快思”（Mode-1）和“慢想”（Mode-2）两种模式与世界互动，同时还能将“慢想”的成果内化为“快思”的本能。这为最终实现拥有“常识”的自主机器智能描绘了一条清晰的技术路径。