开始数据转换

1. 生成 RLDS 数据

RLDS 数据集是 Openvla-oft 训练所需的数据格式,执行bash preprocess_aloha.sh之前需要修改New-RoboTwin/RoboTwin/policy/openvla-oft/preprocess_aloha.sh里面的{--dataset_path}和{--instruction_dir}。

2、为 click_bell 创建自己的 TFDS Builder

1、在RoboTwin/policy/openvla-oft/datasets下:

cp move_can_pot_builder.py click_bell_builder.py

2.、修改文件内容

打开 click_bell_builder.py,做以下修改:

类名aloha_move_can_potaloha_click_bell

更新 _split_paths 中的数据路径:指向自己的 processed_openvla 目录

(可选但推荐)修改 RELEASE_NOTES 描述

RELEASE_NOTES = {
    "1.0.0": "Initial release for RoboTwin place_object dataset.",
}

改为:

RELEASE_NOTES = {
    "1.0.0": "Initial release for RoboTwin click_bell dataset.",
}

✅ 确保 __main__ 部分使用新类名

if __name__ == "__main__":
    builder = aloha_click_bell()  # ← 这里必须是新类名!
    builder.download_and_prepare()

✅运行你的 builder

openvla-oft/ 目录下执行:

# 确保在 openvla-oft 根目录
cd ~/New-RoboTwin/RoboTwin/policy/openvla-oft

# 确保 datasets 是包
ls datasets/__init__.py  # 应该存在

# 运行 builder
python -m datasets.click_bell_builder

如果只训 click_bell,可跳过;否则添加:

💡 实际上,只要你运行 python -m click_bell_builder 成功,TFDS 就已经注册了 aloha_click_bell 数据集,训练时直接用 --dataset_name=aloha_click_bell 即可加载。

开始微调/训练

conda环境里有很多库没有安装,官方有指出需要安装哪些库,参考:

OpenVLA-OFT论文研读与复现 笔记 - xbit - 博客园

路径:

New-RoboTwin/RoboTwin/policy/openvla-oft/experiments/robot/libero/libero_requirements.txt

New-RoboTwin/RoboTwin/policy/openvla-oft/pyproject.toml(需要自己在openvla项目中下载)

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐