前言

截止目前(25年8月份)，我博客内已经对PI官方推出的所有具身模型都做了深入且细致的解读，具体如下所示

  1. π0
    涉及对其原理的解读、lerobot pi0代码的解析、openpi官方代码的解析，以及我司对其的微调
  2. FAST
  3. Hi Robot
    详见《Hi Robot——大脑加强版的π0：基于「VLM的高层推理+ VLA低层任务执行」的复杂指令跟随及交互式反馈》
  4. π0.5
    详见《π0.5——离散化token自回归训练，推理时则用连续动作表示，且加强推理(同一个模型中先高层拆解出子任务，后低层执行子任务)》
  5. π0.5的KI改进版
  6. 实时动作分块RTC

这个π0系列是我博客内(截止到25年8月份)关于具身方面的系列文章中：影响力最大的前TOP 3，更是或促进、或启发了国内外诸多模型的提出与改进

且也推动了具身在各个场景层面的落地，包括我司『七月在线』做了一系列科研复现中，也微调过openpi——详见《π0的微调——如何基于各种开源数据集、以及私有数据集微调openpi(含我司七月的微调实践及openpi在国产臂上的部署)》

效果还不错(至少在特定任务上，效果好于原装π0，故超越π0 并不是一件很玄乎的事：不要被一些媒体带偏，未来一年，国内外会有越来越多或基于π0、或不基于π0，推出超越π0的模型)

前几天，网上看到星海图提出了G0，当看到：“其将多模态规划的视觉-语言模型（VLM）与细粒度执行的视觉-语言-动作（VLA）模型相结合”，我第一反应便想到了上面提到的「Hi Robot」，妥妥的Hi Robot开源版

G0官方说，未来几周会开源，为示对其开源的respect——开源是具身模型公司造影响力最好的方式，不要小瞧这个影响力，影响力大 融资越好拿(且很有利于招人)，当然了 我司七月在时机合适时，也会提出自己的模型，本文特解读下，也顺带帮G0宣传下

更何况，我们一直以来都是：交付一个个B端客户订单的同时，始终保持对国内外最新/前沿论文的解读与探索，博客内的一篇篇论文/开源，​对我司落地工作有启发，我司也越来越并行『科研与落地』了

第一部分 G0双系统VLA模型

1.1 引言、相关工作、预备知识

1.1.1 引言：提出了Galaxea Open-World数据集和双系统框架G0

VLA模型已成为一个关键范式，其目标是使机器人能够在物理世界中自主感知、推理并执行复杂任务

  1. 尽管该领域已取得显著进展，但由于缺乏大规模、高质量的开放世界机器人数据，一个重要瓶颈仍然存在
    现有数据集——以 Open-X Embodiment [1] 为代表，在很大程度上受限于任务真实度不足以及环境多样性不够。这些局限性削弱了已训练模型在面对多样化真实世界场景时的泛化能力
  2. 为应对这一条挑战，作者提出了Galaxea Open-World Dataset，这是一套面向移动操作、规模庞大且经过精细筛选的开放式真实世界数据集
    Galaxea Open-World Dataset 包含500 小时的高保真数据，这些数据系统性地采集自人类日常生活和工作的真实场景，涵盖 50 个不同场景中的 150 余种不同任务
    与众不同的是，Galaxea Open-World Dataset全部由同一机器人本体持续采集，从而确保了数据的一致性与可靠性

    为什么这么做呢，他们宣称，他们构建了一个严格的基准测试，涵盖了如桌面操作、设备操作以及在常规和小样本学习环境下的长时序铺床等任务。实验结果表明，他们高质量的数据集以及所提出的预训练策略能够有效提升双系统的性能。值得注意的是，当预训练平台与目标机器人之间存在较大的实体差异时，跨实体预训练的优势会减弱，甚至可能导致VLA模型性能下降，这突显了所提出的单一实体预训练阶段的重要性

    总之，全面的数据筛选和精确的语言标注进一步丰富了该数据集，便于对各种移动操作方法进行基准评测
    PS，我july个人觉得，各有各的优劣，目前没有绝对的好或坏

此外，作为对数据集的补充，他们提出了双系统框架G0

更新：截止到25年9月下旬，以下部分

  1. Galaxea Open-World Dataset
  2. G0-VLA pretrained model weights
  3. G0-VLA real-robot inference code
  4. G0-VLA fine-tuning code

均已开源，且适配了lerobot，更于26年1.4日开源了他们最新的预训练 VLA 模型G0Plus，用于多任务机器人操作

具体而言，G0利用系统2（G0-VLM）进行通用多模态规划，并指导系统1（G0-VLA）执行精确的动作操作。这两个模型以不同的频率异步运行，从而实现高效的训练和实际部署

且值得注意的是，他们为G0-VLA提出了三阶段训练课程：

  1. 在大规模无标签数据集上进行跨形态预训练，以获取通用的世界知识先验
  2. 在他们的 Galaxea Open-World Dataset 上进行单一具身预训练，以在目标平台上专门学习感知-动作对
  3. 基于高质量任务示范进行后训练，以掌握特定的复杂技能

1.1.2 相关工作

第一，对于双系统设计

G0 模型架构建立在机器人学中的分层规划基础之上

  1. 在早期方法中，如任务与运动规划（Task and Motion Planning, TAMP）[2]，高层任务规划与低层运动控制通常是解耦的
    视觉语言模型（VLMs）的出现最近重新激活了这一范式。例如，SayCan [3] 展示了预训练 LLM 可以作为高层目标的零样本规划器
  2. 受此启发，社区开始采用基于 Kahneman 系统 1（快速、反应式）和系统 2（深思熟虑、规划式）理论的双系统框架 [4]
    这种将审慎规划与反应式控制分离的分层方法构成了G0工作的基础

第二，VLA 作为系统1的执行器

  1. VLA 模型的兴起为构建通用机器人策略提供了一种强有力的范式。在双系统框架下，这些 VLA 自然适合作为 System 1 的执行器：一种反应式策略，将即时感知输入和简单指令转换为低层级的机器人控制动作 [5, 6, 7]
  2. 这些 VLA 模型中的动作生成模块主要采用两种主流范式：自回归生成 [8,9,10,11] 和扩散生成 [12,13,14]
    \rightarrow  自回归模型擅长迁移预训练 VLM 的知识，但推理速度可能较慢 [11,15]；
    \rightarrow  相比之下，扩散模型具有更高的吞吐量，却存在削弱 VLM 原始能力的风险 [16-π0.5]

    目前，一些工作通过更复杂的架构设计在这两种生成范式之间寻求平衡 [17-Hybridvla]
    他们的工作还为 System 1 组件实现了一个 VLA，采用了两种类似于 π0.5[16] 的训练方法，以充分利用两种生成范式的优势

第三，对于将 VLM 用作 System 2 规划器

  1. 尽管 System 1 的 VLA 负责执行反应式控制，但它需要关于该做什么的高层指导。这一指令性角色由 System 2 VLM规划器来承担——在现代机器人系统中，规划器通常由一个大型 VLM [18,19,20] 来实现
    具体而言，VLM 充当深思熟虑的“头脑”，负责理解用户复杂的、开放式的指令，并将其分解为一系列更简单的子任务
    然后再将这些子任务交给 System 1 执行器
  2. 作者的研究主要聚焦于对这一 System 2 组件进行系统性研究
    具体而言，作者探索构建和微调 VLM规划器的有效方法。且以人类和闭源模型作为基线，与在他们的专有数据集上微调得到的开源 VLM 进行系统性比较，旨在为社区提供具有实践价值的参考

第四，对于大规模操作数据集

VLA 模型的发展从根本上依赖于大规模、多样化且高保真度的机器人操作数据集

  1. 当前领先的工作从不同维度应对这一挑战。例如，BridgeData V2[21] 和 DROID [22] 这类工作专注于在特定机器人具身形式上进行大规模数据采集。它们成功展示了通过扩大数据规模带来的性能提升，但单一平台的设置从根本上限制了其任务和场景的多样性

    与此并行，Open X-Embodiment [1] 通过聚合来自众多不同来源的数据，大幅扩展了具身形式和任务的多样性
    然而，这种异质数据聚合也带来了数据质量、标注规范以及环境上下文方面的不一致，从而为模型训练引入了潜在噪声

    尽管这些基础数据集在规模和多样性方面做出了关键贡献，但它们主要是在可控或人工环境下采集的
    更近期的工作，如 RoboMIND [23] 和 AgiBot world [24]，尽管在规模和任务复杂度上不断突破边界，仍然受制于这一采集方式。这种数据收集方法导致了显著的领域差距，从而削弱了已训练模型向非结构化真实世界环境泛化的能力
  2. 为直接应对这一挑战，作者提出了一个全新的数据集，其独特之处在于：在完全非结构化的真实世界场景中，以大规模方式进行采集

    在构建更真实的数据集之外，作者还研究如何最好地利用现有数据，重点考察一种常见预训练范式的价值。当前被广泛采用的做法是：首先在大规模、多具身的数据集上对模型进行预训练，然后再在与目标具身相关的特定数据集上继续训练
    其目标是将来自多样化数据的广泛泛化能力与来自域内数据的专门化能力相结合

    然而，这一范式的真实效果仍然是一个存在相互矛盾结论的开放问题[12,25,26,27]。作者认为，解决这一问题的关键在于一个无偏、高保真、真实世界的基准
    因此，本工作将作者提出的新数据集作为试验平台。通过严格的对照实验，系统分析并剥离跨具身预训练对模型在真实世界泛化性能的实际贡献

1.2 Galaxea开放世界数据集

作者宣称

  1. Galaxea 开放世界数据集是基于 Galaxea 自有数据采集工作构建的一个大规模、高质量、且具有完整标注的数据集
    它包含 100K 条示范轨迹，覆盖 150 个任务类别，并在 50 个不同的真实世界场景中执行
  2. 这些示范涵盖了超过 1,600 个独特物体和 58种操作技能，从细粒度的抓取与放置到协调的全身操作一应俱全
    所有数据均在统一的具身形态下采集，确保感知、动作和语言标注在整个数据集中完全对齐

1.2.1 数据采集平台

数据采集平台。所有演示均使用Galaxea R1 Lite 平台（图2a）进行记录，这是一款为在人类中心环境中运行而设计的移动式双臂机器人

  1. 该机器人具有23 自由度的机身，包括两个6 自由度机械臂、一个具有垂直和俯仰运动以扩展工作空间的3 自由度躯干，以及一个可实现最高速度达1.5 m/s 的6 自由度矢量驱动全向移动底座
    球形腕关节和平行夹爪能够稳健操控日常物体，最大负载可达5 kg，工作空间伸展距离可达60 cm

    感知由一个立体 RGB 头部相机提供场景级的上下文信息，以及两个英特尔 RealSense D405 RGB-D 腕部相机在操作时提供近距离的精确信息
    机器人紧凑的尺寸（高度 1280 mm，底盘宽度 600mm，整体宽度 670 mm）使其在保持操作能力的同时，仍能在狭窄空间中灵活穿行
  2. 为确保动作自然且可行，作者采用了一种异构遥操作方案，将人类操作员的运动直接映射到机器人的运动学上
    与基于 VR 的遥操作相比，这种方法能够使机械臂始终保持在可达姿态范围内，避免逆运动学求解失败，并且无需在人与机器人不同形态之间进行动作重映射

1.2.2 采集指南

数据采集遵循四项指导原则：

  1. 可观测性
    视觉流应包含所有与任务相关的线索，在操作过程中保持关键物体始终处于视野中
  2. 数据量与质量
    对于简单任务，大约 100 条执行良好的演示即可满足需求；对于更复杂的序列，在扩大量级之前，先以“质量优先”的试运行阶段开展收集
  3. 语言锚定
    在子任务层面为每条演示添加结构化的语言描述标注，从而实现用于 VLA 模型训练的多模态对齐

1.2.3 环境与物体多样性、标注流程、与现有数据集的比较

  • 对于环境与物体多样性
    该数据集在11个实际场所采集，涵盖住宅、餐饮、零售和办公空间

    每个场地都提供多个功能区域，总共形成 50 个独特的场景。物体集合来自真实的零售供应商，以确保其视觉和物理属性具有现实感
    对于那些不安全或不适合反复操作的物品（例如食品），则使用高保真仿制品，以在保持视觉真实感的同时兼顾卫生与操作效率
  • 对于标注流程
    每个数据 episode 会被划分为若干原子级子任务。标注采用固定的模式(schema)，标注人员从标准化的描述中进行选择，而不是填写自由文本，从而提高标注速度和一致性

    如下图所示——是带有时间子任务标注的数据样本。他们的数据集涵盖了人们日常生活中的大多数场景，从双臂操作到全身控制机器人数据，并提供高质量、细粒度的子任务标注

    每个片段都会在 episode 级和剪辑级接受严格的质量检查；不合格的数据——例如包含操作员失误或 ROS 话题频率异常等情况——将被排除在训练集之外
  • 对于与现有数据集的比较
    作者将Galaxea Open-World Dataset 与以往的大规模机器人数据集进行比较，包括 BridgeData [28]、RT-1 [25]、Open-X-Embodiment [1] 和AgiBot World [24]

    作者宣称，他们的数据集具有以下特点：
    i) 在广泛的技能和环境范围内保持单一形体的一致性
    ii) 提供细粒度的子任务级标注，以实现精确的多模态对齐
    iii)在真实世界场景中具有显著更高的场景多样性

    这些特性使其成为研究可泛化、能够在非结构化人类环境中可靠运行的 VLA 模型的强大基准

1.3 G0双系统(VLM-VLA)中后者System1-VLA部分的三阶段训练及其评估

如图1 所示，他们的G0 双系统由一个快速响应的System-1 和一个深思熟虑的System-2组成

  1. System-1 是一个VLA 模型，负责感知环境、理解子任务指令并执行动作。它是一个端到端的视觉-语言-动作（VLA）模型，专为控制具有可移动躯干和底盘的双臂机器人而设计

    在每个时间步t ，它根据输入的语言指令l 、来自三台摄像头的视觉观测o_{t}以及机器人的本体状态s_t，生成具有时间跨度为k 的动作片段A\boldsymbol{A}_{t}=a_{t: t+k}

    G0-VLA 首先利用预训练的VLM 对机器人的视觉观测o_{t}和语言指令l进行嵌入，然后在以VLM 的KV 缓存为条件的情况下，通过flow matching 动作专家生成连续动作

    在训练方案上，针对G0-VLA模型，作者引入了一个三阶段训练策略，利用多样化的数据集逐步提升其性能和适应性，具体而言
    \rightarrow  1) 预训练第一阶段，旨在从大规模且多样化的机器人数据中学习一个通用的先验模型，该阶段将 Galaxea 自有的大规模未标注数据集与额外公开可用的机器人数据集相结合
    \rightarrow  2) 预训练第二阶段，在他们高质量数据中记录的多种物理交互的基础上，专门学习单一机器人机体的构型、动力学和运动学特性
    \rightarrow  3) 最后，后训练阶段利用少量高质量示范数据对模型进行微调，使其能够精通一组特定任务
  2. 而System-2 作为VLM 运行，处理高层次的自然语言任务指令，理解场景，并随后为System-1 规划子任务指令
    在训练方案上，G0-VLM模型使用来自Galaxea开放世界数据集的图像与子任务标注对进行训练

1.3.1 G0-VLA(System 1)预训练阶段-1：训练VLA中的VLM组件(PaLiGemma)

在第一阶段的预训练中，作者仅训练(VLA中的)VLM 组件

  1. 为了使 VLM 的语言模型骨干（backbone）能够预测机器人动作，作者采用 FAST tokenizer 作为动作 tokenizer，将原始的连续动作片段转换为离散索引序列
    通过这种方式，可以使用标准的交叉熵损失，以自回归方式训练 VLM 预测下一个动作 token
  2. 具体而言，给定时刻t 的图像观测 o_{t}、语言指令 l_{t} 以及本体感受状态 s_t，策略被训练以建模动作 token 的条件分布
    p\left(\mathbf{A}_{t}^{d}\right)=\prod_{i=1}^{N} p\left(a_{i}^{d} \mid a_{<i}^{d}, o_{t}, l_{t}, s_{t}\right)

    其中，\mathbf{A}_{t}^{d} 表示由动作分词器生成的N个离散动作token a^{d}

另，VLM 初始化自PaLiGemma[29，更多详见《多模态PaliGemma 2(含1代)：Google推出的基于SigLIP和Gemma 2的视觉语言模型(附SigLIP详解)》]，由一个SigLIP 视觉编码器、一个单层MLP 投影器和一个标准Transformer 组成

视觉编码器和投影器共同将三个输入图像转换为一维的嵌入序列，然后在Transformer 内部通过注意力机制，关注分词后的语言指令、本体感受状态以及先前预测的动作token

  1. 对于用于 Stage-1 预训练的数据，作者在多样化的机器人实体操作录制混合数据上训练 VLM
    其中包括约 1000 小时的 OXE 轨迹、来自 GalaXea Open-WorldDataset 的 500 小时数据（只使用高层任务描述，不包含低层语言标注），以及 200 小时只包含高层任务描述的内部数据
  2. 在该阶段仅训练VLM的动机可以从两个角度进行解释：
    1) 训练数据来自不同的具体实现形式，其标注质量以及对应动作的准确性并不一致。因此，动作专家无法从这些数据中学习到足够有信息量的知识
    2) 如果在模型尚未收敛、还不能生成稳定表征之前就引入扩散损失，可能会对学习过程产生不利影响

1.3.2 G0-VLA(System 1)预训练阶段-2

在本阶段，作者在已标注的 Galaxea 开放世界数据集上训练System-1 VLA。该 VLA 由预训练的VLM 和新初始化的动作专家（action expert）组成

动作专家生成在本体感觉状态和由VLM生成的表征条件下的连续动作

具体而言，他们通过最大化以下目标来训练他们的VLA

\max _{\theta} \mathbb{E}_{p\left(\boldsymbol{A}_{t}, o_{t}, l_{t}, s_{t}\right)}\left[\log \pi_{\theta}\left(\boldsymbol{A}_{t} \mid o_{t}, l_{t}, s_{t}\right)\right]

且采用流匹配损失

  • 这里，A_{t} 表示从时刻t起、时间跨度为H的动作片段，o_{t} 是视觉观测，l_t 是语言指令，s_t是本体状态
    \boldsymbol{A}_{t}^{\tau}是插值后的带噪动作，\boldsymbol{A}_{t}^{\tau}=\tau \boldsymbol{A}_{t}+(1-\tau) \varepsilon \cdot v_{\theta}(\cdot)
  • 说白了，上述公式中，前者v_{\theta}(\cdot)是VLA 预测的流，后者\boldsymbol{u}(\cdot)是从动作轨迹导出的目标流

怎么理解上面这段表述呢，其实我在《π0——用于通用机器人控制的VLA模型：一套框架控制7种机械臂(基于PaliGemma和流匹配的3B模型)》这篇文章里已经讲的很清楚了，为方便大家一目了然，我再把π0解读中的那段内容贴一下

在训练过程中，使用条件流匹配损失Conditional Flow Matching[28,32]，对这些动作token进行监督

L^{\tau}(\theta)=\mathbb{E}_{p\left(\mathbf{A}_{t} \mid \mathbf{o}_{t}\right), q\left(\mathbf{A}_{\tau}^{\tau} \mid \mathbf{A}_{t}\right)}\left\|\mathbf{v}_{\theta}\left(\mathbf{A}_{t}^{\tau}, \mathbf{o}_{t}\right)-\mathbf{u}\left(\mathbf{A}_{t}^{\tau} \mid \mathbf{A}_{t}\right)\right\|^{2}

上式中的前者\mathbf{v}_{\theta}\left(\mathbf{A}_{t}^{\tau}, \mathbf{o}_{t}\right)为学习网络 相当于预测的噪声，后者\mathbf{u}\left(\mathbf{A}_{t}^{\tau} \mid \mathbf{A}_{t}\right)为学习目标 相当于添加的真实噪声，即训练前者去逼近后者

  • 最近在高分辨率图像[14]和视频[38]合成方面的研究表明，当与一个简单的线性高斯(或最优传输)概率路径[28] 结合时，flow matching 可以获得很强的经验性能

    该概率路径由下述表达式给出
    q\left(\mathbf{A}_{t}^{\tau} \mid \mathbf{A}_{t}\right)=\mathcal{N}\left(\tau \mathbf{A}_{t},(1-\tau) \mathbf{I}\right)
  • 在实践中
    第一步，构建中间状态(加噪操作)
    一般都是网络先通过随机采样符合正太分布的噪声\epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})进行训练，计算“带噪声的动作”
    \mathbf{A}_{t}^{\tau}=\tau \mathbf{A}_{t}+(1-\tau) \epsilon
    In practice, the networkis trained by sampling random noise ϵ ∼N(0, I), computingthe “noisy actions” Aτt = τAt + (1 −τ)ϵ

    相当于先加噪，类似此文中「5.2.1 通过示意图对比：ϵ-prediction、v-prediciton与rectified flow」最后对rectified flow的阐述：或
    相当于从动作分布\mathbf{A}_{t}到噪声分布\mathbf{A}_{t}^{\tau}
    之后，    再去噪

    第二步：训练
    网络输出\mathbf{v}_{\theta}\left(\mathbf{A}_{t}^{\tau}, \mathbf{o}_{t}\right)『    \mathbf{v}_{\theta}代表预测的向量场，或预测的速度 』
    去匹配
    去噪向量场\mathbf{u}\left(\mathbf{A}_{t}^{\tau} \mid \mathbf{A}_{t}\right) 『    \mathbf{u}代表从纯噪声直接指向干净动作的真实向量场，或真实速度』，且\mathbf{u}\left(\mathbf{A}_{t}^{\tau} \mid \mathbf{A}_{t}\right)=\mathbf{A}_{t}-\epsilon，即：目标速度向量 = 终点向量(干净动作) - 起点向量(纯噪声)
    『and then training the network outputs vθ (Aτt , ot) to match the denoising vector field u(Aτt |At) = At −ϵ，即非π0 v1版本中的u(Aτt |At) = ϵ −At，而是π0 v4版本中的 u(Aτt |At) = At −ϵ 』
    所以才有上面提到的损失函数
    L^{\tau}(\theta)=\mathbb{E}_{p\left(\mathbf{A}_{t} \mid \mathbf{o}_{t}\right), q\left(\mathbf{A}_{\tau}^{\tau} \mid \mathbf{A}_{t}\right)}\left\|\mathbf{v}_{\theta}\left(\mathbf{A}_{t}^{\tau}, \mathbf{o}_{t}\right)-\mathbf{u}\left(\mathbf{A}_{t}^{\tau} \mid \mathbf{A}_{t}\right)\right\|^{2}

总之，预训练阶段2侧重于提升动作精度和语言基础(language grounding)能力，这得益于Galaxea开放世界数据集的两个关键特性：

  1. 单一机体：所有轨迹均在同一机器人平台上采集，从而保证一致的动作空间，并且无需动作专家在不同机体之间进行适配
  2. 语言-动作对齐：在子任务层级对指令和轨迹进行切分，生成细粒度的语言-动作对。这样能够促进指令与机器人动作之间建立更强的对应关系

1.3.3 G0-VLA(System 1)后训练(微调)：面向任务的训练

为了测试预训练模型的泛化能力，作者在下游任务上使用不同的预训练权重对VLA 进行微调，并采用与 Stage-2 相同的训练目标

对于每个任务，作者将微调数据限制为最多 100 条轨迹

1.3.4(选读) G0-VLA(System 1)的评估：涉及预训练权重、小样本迁移、具身体特定动作

在本节中，作者构建具有挑战性的基准，并进行微调实验，以评估 G0-VLA 模型以及他们所提出数据集的有效性。每个任务都经过精心设计，用于探测模型的一项特定能力。他们的研究核心有一个中心问题：预训练数据如何影响 VLA？

然后从三个角度展开探讨：

  1. 预训练是否能提升在下游任务上的微调表现？预训练权重究竟有多重要？
  2. 在单一具身体上进行预训练，能否加速小样本迁移？
  3. 在具身体特定动作上，单一具身预训练与跨具身预训练相比如何？

他们的基准测试包括以下任务：

  1. 桌面整理：机器人需要整理杂乱的书桌，包括将笔放入笔筒、拾取并悬挂耳机，以及将书本放到书架上。该任务用于评估模型在精确抓取与放置、双臂协同操作以及保持物体稳定性方面的能力
    该任务满分为6分。每个动作被视为一次抓取与放置操作，成功抓取得1分，成功放置得1分
  2. 微波炉操作：机器人打开微波炉门，将食物放在盘子上，再将盘子放入微波炉，最后关闭微波炉门以启动加热。该任务评估模型在与家用电器交互以及执行多步操作序列方面的能力
    该任务满分为5分，评分步骤包括：选取正确的食物、将其放在盘子上、打开微波炉门、将盘子放入微波炉内，以及关闭微波炉门
  3. 整理床铺：机器人被要求整理床上凌乱的被子，使其平整且整洁。该任务强调全身控制，需要底盘、躯干和手臂的协调配合，以实现高效执行
    该任务满分为4分，分别对应以下四个环节：移动到床边、抬起上身并抓住被子、上身后仰、移动以铺平被子
  4. 积木堆叠：机器人被要求通过堆叠积木拼出指定单词。该任务考察模型的语言理解能力以及精准的抓取与放置能力
    该任务满分为6分。每个动作被视为一次抓取与堆叠操作，成功抓取积木得1分，成功堆叠得1分

为保证可复现性，作者对每个测试运行10次，并取每项任务的平均得分

1.3.4.1 预训练权重

在本实验中，作者测试了不同预训练权重的有效性。作者在提出的基准任务上对预训练模型进行微调，每个任务使用100条训练轨迹（每条轨迹持续30秒至1分钟不等）

评估的配置如下：

  • G0 (Stage-1) ：仅经过第一阶段预训练的VLA
  • G0 (Stage-2 200h) ：仅经过第二阶段预训练（200小时数据）的VLA
  • G0 (Stage-2 400h) ：仅经过第二阶段预训练（400小时数据）的VLA
  • G0 (Full) ：VLA先进行第一阶段预训练，再进行第二阶段预训练（400小时数据）
  • G0 (Scratch) ：VLA 未经过任何动作预训练（直接初始化自原始 VLM 权重）
  • π0：π0[12] 采用官方发布的预训练权重作为基线

所有模型均在相同设置下微调4个epochs。结果如图9所示

总体来看

  • G0（Full）获得了最高的平均进展分数
    具体而言，它在Table Bussing、Microwave Operation和BedMaking任务中展现出卓越的物体抓取能力
  • G0（Stage-2 400h）和G0（Stage-2 200h）在语言跟随、动作一致性以及整体身体控制能力方面表现最佳，这将在第5.3节进一步讨论
    相比之下，G0（Stage-1）在所有预训练模型中表现最差，突显了单体预训练的重要性

    作者观察到
    第一阶段的预训练主要提升了VLA执行诸如抓取-放置和推拉等简单且通用动作模式的能力
    与此同时，第二阶段的预训练将模型专门针对作者的机器人平台进行了训练，从而提高了动作的稳定性和指令的执行能力
1.3.4.2 小样本迁移

在本部分，作者专门评估了他们VLA的少样本迁移能力。他们仅使用每个任务（Table Bussing和Microwave Operation）各20条轨迹对模型进行微调。每个模型均在相同设置下微调10个epoch

  1. 如图10所示，经过第二阶段预训练的模型显著优于未经过该阶段预训练的模型

    除了量化提升之外，作者还观察到这些模型在执行过程中产生的动作更加平滑且稳定
  2. 作者认为，上述结果表明，单体预训练显著提升了同一体态下的少样本泛化能力，进一步突显了他们Galaxea开放世界数据集中单体数据的重要性
  3. 且值得注意的是，仅经过第一阶段预训练的模型，相较于从零训练的模型，并未表现出明显优势。这表明，仅依靠跨体态动作预训练，可能不足以让模型在少样本场景下快速适应新的体态
1.3.4.3 具身体特定动作

在本节中，作者对具体体现的动作进行了详细分析

  1. 铺床任务属于长时序任务，需要频繁、协调且精确的全身控制，包括底盘、躯干和手臂。这些都是具体体现的行为，在诸如OXE等跨体现数据集中并未体现
  2. 作者在图11中按技能报告了进展得分。在单一体现数据上进行的第二阶段预训练显著提升了模型在这些体现特定技能上的表现，这表明此类能力在该预训练阶段能够被有效习得

    相比之下，使用跨体现数据（例如，第一阶段预训练和π0）在底盘相关动作的指令遵循能力明显较弱，躯干控制的准确性也较差
    在某些情况下，其表现甚至不如从零开始训练的模型。作者推测，机器人自身与用于第一阶段预训练的OXE数据集中机器人之间存在较大的体现差距，这阻碍了模型获取与具体体现相关技能的能力

    这些发现强调，在预训练策略中使用跨体现数据时，需谨慎设计，以确保知识能够正向迁移

1.4 G0双系统(VLM-VLA)中前者System2-VLM部分的训练及其评估

1.4.1 G0-VLM(System 2)训练：利用Galaxea数据集微调Qwen2.5-VL

G0-VLM 是该双系统中的高层规划器，承担多项职能：解析人类的高层指令、以自然语言进行回答、执行任务规划，并向 G0-VLA 下发用于执行的低层原子动作指令

在他们的实现中，他们采用了以开源的 Qwen2.5-VL [30] 为起点，并利用从 Galaxea Open-World 数据集抽样的数据进行指令微调

为了以可扩展的方式训练G0-VLM，作者结合使用人工标注的子任务以及合成的人类风格高层指令

  1. 首先，从Galaxea Open-World 数据集中采样若干轨迹(episodes)
    在采样过程中，将关键帧(定义为子任务接近终止的时刻，或夹爪状态发生变化的时刻)赋予更高的采样权重，以促进任务切换的学习

    随后，提取头部摄像头图像和子任务标注
    为了使VLM 能够在长时间尺度的上下文中进行任务规划，作者还以1 秒的间隔：向模型输入来自之前时间步的k 帧历史图像观测和机器人动作
    由此得到的数据集D_{\text {labeled }}包含任务名称、机器人观测o_{t-k}, \ldots, o_{t}，以及子任务指令l_{t-k}, \ldots, l_{t}
  2. 随后，在D_{\text {labeled }} 上应用一个推理型LLM(DeepSeek-R1)，以生成符合人类风格的高层指令以及机器人对人类的回应
    \rightarrow  向LLM 提供每个episode 的任务名称（例如，拉和推椅子）、历史和当前子任务，以及下一个子任务；
    \rightarrow  LLM 随后基于提示进行推理，分析整个动作序列，想象真实世界场景，并最终生成符合人类风格的口头指令（例如，” 我要坐下了，你能帮我把椅子拉出来吗？”）以及机器人对人类的口头回应（例如，” 我正在帮你处理！”）

    在这里，作者并未向LLM 输入图像观测，因为作者认为LLM 的推理能力足以从他们高质量的原子动作标注中推断出任务场景

1.4.2 评估 G0-VLM(System 2)

在作者的双系统框架中，G0-VLM 作为任务规划器，负责处理人类指令和环境观测，并为下游的 VLA 模块生成可执行的指令

此过程的有效性关键取决于两个方面：

  1. 一是指令与观测的准确匹配，确保 VLM 能够正确理解感知输入
  2. 二是动作原语的保真度，决定 VLA 是否能够正确执行生成的指令

因此，作者设计了评估指标，以严格考察 VLM 性能的这两个方面。并探讨了两个关键问题：

  1. i）与直接使用预训练模型相比，微调是否必要
  2. ii）有监督微调（SFT）如何提升视觉语言模型（VLM）在机器人任务中的能力，尤其是在提升动作落地准确性方面

为此，作者对多个已有模型进行了基准测试，包括 Gemini-2.5-pro和 Qwen2.5-VL（涵盖不同参数规模的变体），并与G0微调后的版本进行对比

  • 为了确保公平比较，作者为所有基线模型设计了标准化提示词，包含任务特定指令、原子动作选项及输出示例。该设置限制模型只能从提供的选项中进行选择，消除了因提示词设计带来的变异性，使评估更加专注于模型的核心能力
  • 表1显示，G0微调后的模型在准确率上超过了基线50%以上，通过针对任务的微调，使语言指令能够被VLA直接执行

    作者认为，这验证了他们的核心假设：机器人应用不仅需要通用的视觉-语言理解，更需要通过领域自适应，实现精确对齐的动作原语

第二部分 G0Plus、G0Tiny

如G0系列的GitHub所述：github.com/OpenGalaxea/GalaxeaVLA

  • 26年1.4，他们发布了G0Plus

    这是他们最新的预训练 VLA 模型，用于多任务机器人操作
  • 26年2.12
    \rightarrow  更新基于更大规模远程操作和网络数据训练的G0Plus预训练权重
    \rightarrow  发布适用于 R1 Pro Orin 边缘部署的G0Tiny（250M，SmolVLM2 骨干网）
    新增开箱即用演示：折叠毛巾和传递礼物（通过 TensorRT 在设备上进行 G0Tiny 推理，最高可达 10 Hz）
    新增基于openpi 的pi0/pi0fast微调支持

// 待更

Logo
智能体开发者社区

中国智能体开发者社区，聚焦智能体与大模型开发，提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动，促进经验交流与协作，助力开发者快速构建创新智能应用。

更多推荐

双龙虾来了：WorkBuddy + QClaw 如何打造你的 AI 第二大脑

这两年，AI 助手正在发生一个很明显的变化。以前我们使用 AI，更多是“问问题、拿答案”：让它写一段代码、总结一篇文章、润色一份文档，本质上还是人在干活，AI 负责提供一些辅助。而现在，AI Agent 开始真正进入工作流——它不只是告诉你应该怎么做，而是能够理解任务、拆解步骤、调用工具，并把一件完整的事情真正执行下去。WorkBuddy 和 QClaw，就是这一变化下值得关注的两类 AI Age

avatar 智能体开发者社区
cover

Windows 搭建 OpenClaw2.9.3，零命令行完成本地 AI 智能体部署

avatar 智能体开发者社区

【deepseek-harness】DeepSeek Harness 开源项目深度介绍

DeepSeek Harness 的核心价值在于提出了一种全插件化的 AI Agent 运行时范式架构层面：通过 Cordis 框架的 Service/Context/Event 模型，将 Agent 的每个能力拆解为可独立替换的插件单元，消除了传统框架中的核心耦合问题。工程层面：结构化的工具执行管道、追加写入的会话事件日志、分级沙箱策略、类型化事件契约等设计，为构建生产级 Agent 系统提供了

avatar 智能体开发者社区