研究人员开发了JoyInside-VLM-Agent,这是一种ReAct风格的多模态智能体,专为机器人和智能硬件中的具身智能体设计。该智能体利用产品条件轨迹构建和分阶段策略学习,并包含一个闭环沙箱,用于生成包含目标修正和故障恢复的交互轨迹。训练过程包括监督微调、多教师on-policy蒸馏以及采用新颖的DPER方法进行证据路由的强化学习。JoyInside-VLM-Agent在BFCL v4基准测试中取得了强劲表现,并在JoyInside-Devices和JoyInside-Robotics的指标上领先,展示了视觉基础搜索和重新规划的能力。 AI
影响 引入了一种新的具身AI智能体架构和训练方法,有望提高机器人和智能设备的交互能力。
排序理由 该集群描述了一篇关于具身系统新AI智能体的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →