从 OpenClaw 端侧部署到机械臂抓取闭环—高通开发者城市创享工坊实践 (成都站)
从 OpenClaw 端侧部署到机械臂抓取闭环—高通开发者城市创享工坊实践 (成都站)
2026年8月1日,成都。活动前,小助手已经将现场所需的工具包和安装说明发到群里,包括用于连接、调试开发板的 platform-tools,以及后续环境配置资料。提前完成准备后,到场即可更顺畅地进入设备连接与部署体验,快速开启后续的机器人实践环节。
从签到开始,感受到浓厚的开发者氛围
刚进入会场,首先映入眼帘的是签到区域,高通、阿加犀以及合作伙伴的展台已经布置完成。不少开发者陆续到场,有高校学生,也有机器人企业、嵌入式开发、AI 算法、自动化等不同领域的工程师。
大家虽然来自不同方向,但目标却很一致——看看如今的大模型,究竟已经发展到什么程度,又如何真正落地到机器人上。

|
开发者陆续签到,不少人都是背着电脑直接赶来,会场很快进入技术交流的氛围。 |

|
会场入口摆放着机器人展示设备,很多人刚签到就围过去研究,大家讨论的不再是"能不能做",而是"怎么做"。 |

从芯片到生态,高通正在推动 AI 走向真实应用场景
正式进入实践环节之前,高通技术公司工程技术总监沈波分享了高通在 AI 与机器人领域的发展布局:从处理器性能与算力支持,到面向开发者生态的平台端侧 AI 能力。对于机器人开发而言,成熟的平台不只意味着硬件性能,更需要完善软件工具链、模型支持与开发者社区协同。以高通推出的 QAI AppBuilder 为例,其持续扩展了从模型转换、优化到部署的开发能力,帮助开发者更高效地将 LLM、VLM 等 AI 模型部署到终端设备。随着 QAI ModelBuilder 等能力的引入,开发者能够进一步简化模型转换与适配流程,加速从模型到应用的开发实践,体现了高通持续完善 AI 开发生态、降低开发门槛的发展方向。
这也为下午的实践工坊实践埋下了伏笔:AI 要走向真实机器人场景,不只是模型能力的展示,更要在板端部署、本地智能体和机械臂执行之间形成协同。下午的机械臂抓取实践,正围绕这一目标展开。


随着对整体开发生态有了初步了解,现场也正式介绍了本次工坊使用的核心开发平台——犀牛派机器人开发板(搭载高通跃龙™ QCS8550 处理器)。作为一款面向机器人开发打造的算控交互一体化平台,集成了 AI 推理、运动控制和丰富的接口资源,为 OpenClaw、本地智能体以及机械臂控制提供了稳定的硬件基础,成为所有实践环节的重要载体。

从连接开发板开始,真正进入动手环节
完成介绍后,现场很快进入实践阶段。活动一共分为十个小组,我们被安排在第一组。组员背景比较丰富,有从事机器人开发的工程师,也有高校里学习硬件、机器人相关专业的同学。简单交流后,大家很快根据分工协作,从开发板连接开始,依次检查供电、USB、网口和调试链路。

小组成员正在连接开发板并检查各类接口,为后续系统调试和软件部署做好准备。
硬件连接完成后,通过终端进入板载 Ubuntu 系统,先检查系统版本、网络状态和基础运行环境。接下来按照现场文档创建 Python 虚拟环境,安装依赖,并开始在端侧部署 OpenClaw。整个过程不仅是安装程序,还包括配置代理环境、部署 AI DLLM 推理服务、加载 Qwen3-8B-8K 模型,以及根据后续机械臂任务配置对应的 Skill。

开发板成功连接后,通过终端进入系统,检查网络、目录和 Python 环境,为部署 OpenClaw 做准备。
随着安装命令逐条执行,终端中开始出现 OpenClaw 的初始化界面。这个阶段不仅要完成服务安装,还要处理权限、端口、模型配置等问题。直到网关、智能体和相关服务正常启动,整个本地运行环境才算真正搭建完成。

OpenClaw 完成初始化后,相关服务开始运行,为后续本地智能体接入和机械臂控制打下基础。
OpenClaw 跑通,上午的部署终于告一段落
经过一上午的连接、配置和反复调试,OpenClaw 终于顺利启动。浏览器能够正常访问管理界面,本地模型完成加载,聊天会话也成功返回结果。看到页面中出现响应的那一刻,表示开发板、系统环境、模型服务和 OpenClaw 已经基本打通,上午最关键的部署任务顺利完成。

OpenClaw 成功启动并完成首次交互,上午的环境搭建与服务部署正式告一段落。
短暂休整之后,下午进入实践环节——定位标定、动作调试,以及本地智能体控制机械臂完成抓取。
下午:真正的机器人实践,从手眼标定开始
午休结束后,我们小组重新回到设备前,准备进入机械臂调试环节。

为了方便后续对机械臂控制主机进行远程访问和调试,我们首先需要在 AidLux 软件源中安装 Ubuntu Desktop 组件。

虽然设备端已经成功安装了远程桌面服务,但仅安装服务端并不能直接实现远程连接。要建立完整的远程桌面环境,还需要在用于连接设备的电脑上安装对应的本地远程桌面客户端。
设备端远程桌面服务安装完成后仍无法连接,原因是本地电脑缺少 VNC-Viewer-7.15.1-Windows.exe 客户端。
![]()
安装该客户端后,即可通过 VNC 与设备端建立远程桌面连接。
在完成远程桌面环境配置并确认设备连接正常后,进入机械臂的定位与锚点标定环节。接下来按照工程师的指导,依次确认摄像头视野、机械臂初始位置和各关键锚点坐标。

为打通视觉识别与机械臂运动控制,需要开展手眼标定,建立摄像头坐标系与机械臂基座坐标系之间的映射关系。摄像头识别目标后,得到的是目标在相机坐标系下的位置,而机械臂执行运动时使用的是自身基座坐标系。

启动标定程序后,我们依次采集多个不同位置的空间锚点。每个锚点都对应两组坐标数据:一组来自摄像头,用于表示该点在相机坐标系中的三维位置;另一组来自机械臂,用于表示夹爪末端工具中心点在机械臂坐标系中的位置。
本次标定共需采集十五个不同位置的锚点。因为标定点需要尽量分布在工作区域的中心、边缘、前后及左右位置,使系统能够获得覆盖范围更广的样本,减小局部误差对整体标定结果的影响。

在标定过程中手动移动机械臂末端,使夹爪工具中心点依次到达不同锚点位置,并在机械臂稳定后记录数据。测试中摄像头能够识别桌面上的面包和胡萝卜模型,但机械臂末端偶尔仍会偏离目标数毫米。排查后发现标定过程中的核心问题在于相机识别点、机械臂基座坐标和夹爪工具中心点并不处于同一坐标系。摄像头获得的是目标在相机坐标系中的位置,而机械臂实际需要执行的是夹爪工具中心点在基座坐标系中的目标位姿。
完成坐标转换后,系统需要打通完整的控制链路。首先由本地智能体解析为具体抓取任务,视觉模块识别目标并获取其空间位置,再利用手眼标定结果将目标坐标转换到机械臂基座坐标系。随后转换后的位姿数据通过 ROS 2 节点发送至机械臂控制端,驱动夹爪完成移动与抓取。

经过工程师指导,我们重新调整了部分分布不均匀的锚点,并对稳定性不足的数据进行补采,使十五个标定点能够更均匀地覆盖整个工作区域。

在重新完成坐标采集后,我们继续对机械臂的实际落点进行验证,并对比视觉识别位置与机械臂末端到达位置之间的偏差。通过调整,坐标转换结果逐渐稳定,机械臂在工作区域中心和边缘位置的落点误差均有所减小。
从调通代码,到实现本地智能体与机械臂抓取闭环
经过多轮的调试,我们小组终于完成了关键配置。除了依次采集十五个分布在不同区域的标定点,根据实际抓取效果修改了配置文件的参数,逐项调整机械臂的抓取高度、移动速度、末端姿态和目标坐标。

有时机械臂能够准确移动到目标上方,但下落高度不够;有时夹爪位置正确,动作速度却过快,容易碰偏目标。我们只能根据每一次测试结果继续修改参数,再重新启动服务验证。
参数逐渐稳定后,OpenClaw、本地智能体、视觉识别和机械臂控制服务开始正常协同。摄像头先采集桌面画面,本地智能体识别目标并规划抓取路径,再把坐标和动作指令发送给机械臂。机械臂移动到目标上方后调整姿态和高度,降低速度完成夹取,随后按照设定路径将物体放到指定位置。

整个动作虽然只有几秒钟,背后却串联了视觉识别、任务理解、坐标转换、路径规划和运动控制等多个环节。上午部署的端侧环境、下午修改的配置和标定参数,直到这一刻才真正连接起来,实现了本地智能体与机械臂之间完整、可执行的抓取闭环。

完成环境部署和标定后,机械臂开始执行抓取任务,实现了从目标识别、动作规划到抓取执行的完整闭环。
一天的实践,也是一场工程经验的交流
完成抓取任务后,大家继续围坐在交流整个调试过程中的经验、复盘,分享各自遇到的问题和解决思路。期间有同学借助 Codex 等 AI 编程工具辅助分析、修改底层代码,优化机械臂启动流程与运动参数,通过调整初始化逻辑和相关配置,缩短了设备启动等待时间。对我来说,这种面对面的技术交流同样是创享工坊最有价值的部分。很多经验很难从文档中直接获得,只有真正参与一次完整实践,才能理解每一步为什么这样做,以及遇到问题时应该从哪里开始定位和分析。

完成抓取任务后,大家围绕开发板、机械臂和电脑继续交流调试经验,分享部署过程中的问题与解决方法。
写在最后
随着演示结束,这场持续一天的创享工坊也告一段落。一整天下来我们完成了开发板连接、环境配置、OpenClaw 部署、模型加载与 Skill 配置;围绕点位采集和抓取参数调整,最终实现了本地智能体与机械臂之间的完整闭环。
相比直接运行现成 Demo,这次更重要的收获,是亲手经历了一次真实的机器人开发流程。依赖、权限、标定和抓取中的任何一个细节,都可能影响系统稳定运行。通过不断排查、验证,直观地理解了模型推理、软件环境与机械控制之间的协同关系,也看到了大模型在机器人和边缘设备中的实际应用潜力。

活动尾声,合影留念,本次创享工坊圆满落幕。
更多推荐


所有评论(0)