AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems

在这里插入图片描述

贡献:
1)构建了 AgiBot World 数据集,这是一个功能丰富的机器人学习数据集,并配备了开源工具,旨在推动大规模策略学习的研究。
作为一项开创性的举措,AgiBot World 采用了一套全面优化的流程,涵盖场景配置、任务设计、数据收集到人机验证,确保了无与伦比的数据质量。
2)提出了 GO-1 策略,这是一个基于潜在动作表示的机器人基础策略,用于解锁基于异构数据的网络规模预训练。在 AgiBot World 数据集的支持下,GO-1 在泛化能力和灵活性方面超越了现有的通用策略,并且性能随着数据集规模的扩大而可预测地扩展。

读者评价

我觉得创新点在 latent action representations,
通过代理实现了 异构数据的结合。

第一阶段:重构获得latent action representations
第二阶段:用latent action representations连接自然语言模型
第三极端: latent action representations 连接关节的参数

使用的大语言模型是InternVL2.5-2B, Z. Chen, W. Wang, Y. Cao, Y. Liu, Z. Gao, E.
Cui, J. Zhu, S. Ye,H. Tian, Z. Liu, et al., “Expanding performance
boundaries of opensource multimodal models with model, data, and
test-time scaling,”arXiv preprint arXiv:2412.05271, 2024. 6

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐