EcoAgent: An Efficient Edge-Cloud Collaborative Multi-AgentFramework for Mobile Automation论文审查
AndroidWorld上的实验结果表明,EcoAgent有效地处理了复杂的移动任务,同时减少了MLLM的令牌消耗,从而降低了运营成本,并促进了边缘设备上的实际部署。可以看到,在plan agent提出了一个计划+每步计划的预期结果之后,假如操作结果一直符合预期的话,整个流程接下来都不需要云端模型了。只有出现了不符合预期的情况的时候,才会需要云端模型,把当前情况和他说一下,再让他修改一下计划。ap
这篇论文针对的是“边缘部署”场景的llm使用。边缘部署和我们常见的本地部署有点类似,但是有不一样的地方。它强调的是“网络边缘”,比如说手机,摄像头,智能冰箱,网络基站之类的,因此范围比较广。
显然这些设备想要使用的话,要么用大模型的api,要么本地部署一个微调过的小模型。api太贵,小模型太差。二者结合起来,用以往的方法往往会变成单向流程(只听一个模型的话)。文章提出EcoAgent:
“
EcoAgent在三个代理之间形成闭环交互:基于云的规划代理和基于边缘的执行和观察代理。
规划代理利用MLLM进行高级推理和长期任务规划。由微调的MSLM驱动的执行代理高效地执行每个计划的操作。
Observation Agent根据预期结果评估执行正确性,并采用预理解模块将屏幕截图压缩为简洁的文本,从而减少令牌使用和通信开销。失败后,规划代理将从内存模块检索屏幕历史记录,并通过反射模块重新规划。AndroidWorld上的实验结果表明,EcoAgent有效地处理了复杂的移动任务,同时减少了MLLM的令牌消耗,从而降低了运营成本,并促进了边缘设备上的实际部署。
”


可以看到,在plan agent提出了一个计划+每步计划的预期结果之后,假如操作结果一直符合预期的话,整个流程接下来都不需要云端模型了。只有出现了不符合预期的情况的时候,才会需要云端模型,把当前情况和他说一下,再让他修改一下计划。这样成本自然降低了。
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)