研究人员推出了一种新颖的方法 PonderPounce,该方法利用多模态大语言模型(MLLMs)的内在因果上下文作为机器人控制的记忆系统。该方法联合训练一个推理 System2 模块(Ponder)和一个快速 System1 动作模型(Pounce),而无需专门的记忆架构。PonderPounce 在机器人控制任务上展示了显著的性能提升,在 RoboMME 上使用标准训练数据成功率为 60.83%,使用增加数据后成功率为 75.54%,优于现有基线。 AI
影响 这项研究可能带来更强大的机器人,它们能够更好地理解长期上下文信息并据此采取行动。
排序理由 该集群描述了一篇关于使用大语言模型进行机器人控制的新颖方法的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →