视觉、组网、UI 渲染一句话搞定!Realtek Ameba-Claw 系统级实践

一颗指甲大的 Wi-Fi 芯片,你跟它说一句话,它自己写出程序,跑了起来;它看得懂摄像头里的现场,自己决定怎么应对;它把灯点亮、把电机转起来;它还记得住你的习惯,越用越懂你。
一个会自己写代码、自己动手的完整AI Agent——Ameba-Claw。
本文包含以下部分:
-
Ameba-Claw 是什么?
-
四个Demo实践
-
Ameba-Claw 的硬件配置
-
本地记忆:可编辑,持久化
-
初次部署 Ameba-Claw 配置步骤
Ameba-Claw 是什么?
如果说 OpenClaw 等开源项目,让人们看到了 AI 在 PC 与服务器端,通过对话调度工具、处理复杂任务的能力;那么 Ameba-Claw,就是将这套“自然语言即编程”的理念,从数字世界带入真实的物理 IoT 世界。
Ameba-Claw 是一套为微型芯片打造的端侧智能体框架,感知、决策、执行、记忆的整套 Agent 闭环,都在芯片本地跑通。它可以在设备运行时生成新的功能,并不断扩展能力,不再是只执行预设固件。

当这种能力进入 IoT 场景时,会发生什么?
你对搭载 Ameba-Claw 的设备说一句:“准备看电影。”
Agent 会即刻理解这句日常聊天,在端侧自主推演并通过 MCP 与多个设备协同工作:自动调暗氛围灯、降下幕布,并顺手将空调设为适宜的 24 度。场景只是开始。面对视觉处理、网络通信与 UI 渲染,它能力又如何?
实 践
以下四个实践,均未预置业务代码,现场生成并运行。同一块硬件可以在不同场景下切换身份——监控终端、自动化控制器、交互式信息看板,均可重新定义。
Demo 1 · 视觉实践:USB摄像头+LCD动态监控
Realtek 芯片强大的 USB Host 能力,直驱标准 USB UVC 摄像头,无需额外视觉处理单元。 它可以拍照、本地存储,并调用多模态模型理解图像,能直接回答“图里发生了什么”。
比如,你想做一个能够自动识别画面变化的监控终端。设备每 5 秒抓拍,与上一帧对比,在屏幕上标出新增、移动与未变化物体,并给出变化提示。
这一演示完整串起了“USB Host驱动 UVC 摄像头 → 按需调用多模态模型 → LCDC 实时渲染显示”的端到端链路。原本需要专用视觉模组才能完成的监控任务,现在一颗Wi-Fi芯片加上标准摄像头就够了。
换个场景,你还能直接问它:
门口是人还是动物?
设备面板上哪个指示灯亮了?
柜门有没有关严?
Demo 2 · 零烧录自组网:局域网语音对讲机
Ameba-Claw 原生接入了微信、QQ、Telegram、WebIM,多端消息统一进入 Agent 循环处理。你在微信里发:
“做一个对讲机,启动接收...”
两台完全没有写过业务代码的开发板,在运行中生成代码,自动通过 UDP 广播实现局域网自组网,驱动 DMIC 捕获麦克风音频,驱动 I2S 通过扬声器输出音频。几秒后,对讲机通了。
无论是视频监控,还是局域网对讲机,核心都在于 Ameba-Claw 能够将自然语言,转化为 Lua 脚本并运行。
Demo 3 · 零代码软硬件交互:LVGL HMI 图形控制面板
当你说需要一个带界面的硬件中控,Ameba-Claw 自动调用芯片的 LCDC 与 LVGL 图形库。不仅在屏幕上画出“LED Studio”控制面板,还能通过UI控件直接控制底层硬件——手指拖动屏幕上的滑块,灯光实时灵敏变色。
从UI渲染到SPI硬件控制,全程由 Agent 在运行时完成,零代码实现软硬件交互。
Demo 4 · 全UI应用自适应渲染:2048游戏
除了控制类应用,Ameba-Claw 也可以承载完整的图形化应用逻辑。它自主读取屏幕分辨率,在端侧反算出精确的留白和棋盘边距,确保在不同分辨率屏幕上正常显示 UI 界面,包括方块滑动、数字合并、过渡动画以及完整的游戏逻辑。

硬件底座:RTL8721F
Ameba-Claw 方案的优势,得益于 RTL8721F 在硬件层面的配置。
端侧 Agent 需要什么?足够的内存承载上下文,足够的存储记录长期记忆,丰富的外设去连接传感器和执行器,以及稳定的无线连接。
-
全场景网络:标配双频 Wi-Fi 6(2.4G/5G),5GHz 频段保障复杂环境中的实时响应。同时支持以太网与 BLE 5.0,三路网络按需并行,提升连接稳定性。
-
运行内存:高速 DQ16 PSRAM ,承载更大的系统提示词、记忆摘要与多轮对话历史。加速复杂 GUI 图形显示。
-
存储扩展:支持 NOR 或者 NAND Flash、SD卡,为长期记忆、图片与日志提供充足空间。
-
显示输出:内置 LCDC 硬件控制器 + MJPEG 解码 + PPE 图形引擎,UI 和监控画面直接显示,不额外占用算力。
-
外部扩展:USB 2.0 HS 主从双模式,直连 UVC 摄像头、U 盘等标准外设,即插即用。
这些不是"锦上添花"的配置,而是 Agent 能够在端侧发挥作用的必要条件。
本地记忆:可编辑、持久化
为了让行为可持续演进,Ameba-Claw将长期配置与关键信息保存在本地Flash:
-
SOUL.md:定义设备的人格与行为红线(如“你是一个冷柜维护专家”)
-
USER.md:记录偏好与特殊权限
-
MEMORY.md:自动沉淀设备专属的、结构化的长期记忆摘要
-
SKILL.md:支持标准的 Skill 格式规范,通过 YAML 头按需加载不同的 Skill
开发者可直接编辑这些文件,它们会作为Agent的长期上下文参与推理,并为Skill提供可持久化的配置与约束。数据不上云,支持数据硬件加密和安全运行环境,隐私可控。
三分钟上手,开箱即跑
Ameba-Claw 完全开源,代码、文档与在线烧录工具均已就位,开箱即跑。
准备工作
在开始之前,请确认你已准备好以下内容。
硬件
-
Realtek Ameba 开发板:RTL8721F
-
USB 数据线:用于连接开发板与电脑(请确认数据线支持数据传输,而非仅充电)
-
Wi-Fi 网络:2.4 GHz 频段,能够访问互联网
大模型 API Key
Ameba-Claw 支持任意 OpenAI 兼容接口或 Anthropic 兼容接口的大语言模型服务。以下是几家常用服务商的 API Key 申请入口:
申请完成后,记录以下两项信息,在 LLM 配置时使用:
-
API Key:服务商分配的鉴权密钥
-
Model ID:模型名称,例如
deepseek-v4-flash
消息机器人(可选)
-
微信:如需通过微信机器人与 Agent 对话,只需在 Web 后台扫码绑定即可。
如果使用飞书、QQ 或 Telegram,需要到对应开放平台申请 AppID&AppSecret 或 Token。
小技巧:如果你只是想快速体验,可以先跳过此步骤。Web 后台内置的 WebIM 可以直接与大模型对话。
第一步:烧录固件与配网
Ameba-Claw 固件通过在线烧录页面烧写到开发板,无需安装任何软件;Wi-Fi 配网通过串口发送 AT 命令完成。
-
打开在线烧录页面
在 Chrome 或 Edge 浏览器中打开 Ameba-Claw 在线烧录页面。
-
连接开发板
将 USB 数据线插入开发板的 USB 口,另一端连接电脑。
-
选择固件和设备
在 "选择应用" 区域依次选择平台和应用固件,在 "选择设备" 区域选中开发板型号。
-
点击烧录
点击 "开始烧录" 按钮,在弹出的串口列表中选择对应的 COM 口并确认。工具将自动完成固件烧录,约 1~2 分钟,期间请勿断开连接或关闭页面。
-
连接控制台
烧录完成后,滚动到页面底部的 "控制台" 区域,点击 "连接控制台" 按钮,选择对应的 COM 口并确认。
-
发送 Wi-Fi 配置命令
控制台连接成功后,在输入框中输入以下命令(将
<SSID>和<PASSWORD>替换为实际 Wi-Fi 名称和密码),然后按回车发送:AT+WLCONN=ssid,<SSID>,pw,<PASSWORD>
-
确认联网成功
控制台日志中出现以下内容即代表连接成功:
STA connected (DHCP), IP=<设备 IP>
在浏览器地址栏输入该 IP 即可访问 Web 后台。
小技巧:记下开发板的 IP 地址,后续可直接在浏览器地址栏输入访问 Web 后台。
第二步:配置 LLM
在浏览器地址栏输入开发板的 IP 地址即可访问 Web 后台。
-
打开 Web 后台
在与开发板处于同一 Wi-Fi 网络的设备上,访问
http://<设备 IP>。 -
进入 LLM 配置
在左侧导航栏中点击 LLM 配置。
-
选择服务商快速填入
页面顶部提供了常见服务商的预设模板。点击对应服务商的图标(如 DeepSeek、OpenAI),系统会自动填入对应的 API 地址和推荐模型名称。
-
填写 API Key
在 API Key 输入框中粘贴你的密钥。
-
保存配置
第三步:开始对话
配置完成后,你可以通过以下方式与 Agent 对话。
方式一:WebIM(推荐初次体验)
WebIM 是 Web 后台内置的实时对话界面,无需任何额外配置。
-
在 Web 后台左侧导航栏点击 实时对话
-
在底部输入框中输入消息,按回车或点击发送
方式二:微信机器人
微信无需申请 Token,通过扫码即可绑定,是最简单的 IM 接入方式:
-
在 Web 后台点击 IMBOT 配置 → 微信 → 生成二维码
-
页面显示二维码,用微信扫码完成绑定
-
绑定成功后,向机器人发送消息即可开始对话
首次对话建议
可以先试试以下这些句子,感受 Agent 的基本能力:
介绍一下你自己
现在几点了
你能做什么
帮我列一下今天的待办清单
小技巧
Agent 支持多轮对话并具备长期记忆能力。你告诉它的信息(如你的名字、偏好语言)会被记录在 vfs:/USER.md 中,下次对话时依然有效。
恭喜你完成了 Ameba-Claw 的初次部署!
资源
📦 获取开源源码
直达 GitHub 仓库:GitHub - Ameba-AIoT/ameba-claw · GitHub
📖 开发指南与在线烧录
复制以下地址至浏览器查阅:
-
使用指南:aiot.realmcu.com/zh/latest/ameba_claw/index.html
-
在线烧录:aiot.realmcu.com/zh/resource/web_flash_tool.html
-End-
更多推荐


所有评论(0)