研究人员开发了VIA(用于机器人控制的视觉界面代理),该代理利用现有的基础模型进行机器人控制,无需进行特定的机器人微调。VIA将机器人操作重塑为一种代理任务,使用基于浏览器的3D界面,允许通用代理通过屏幕截图和直观命令来控制机械臂。这种方法使代理能够继承其推理和规划能力,使用Claude Code、Codex和Fable 5等模型在各种操作任务上实现了高成功率。 AI
影响 证明了通用基础模型可以通过最少的特定训练来适应机器人控制,有可能加速机器人技术的发展。
排序理由 研究论文,详细介绍了使用基础模型进行机器人控制的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →