Anthropic的Embody基准测试,测试了12种语言模型与实体机器人的交互,结果显示模型在直接控制关节时遇到困难,但在监督预训练控制器时表现良好。研究结果表明,模型的性能更多地取决于其访问级别而非内在能力。有趣的是,一个简单的指南针提供的方向指示比深度图或分割掩码等复杂工具对模型更有用。 AI
影响 强调了大型语言模型在机器人等复杂任务中的表现,很大程度上受到它们如何集成和获得工具访问权限的影响,而不仅仅是其内部能力。
排序理由 该项目讨论了一个基准测试及其在特定领域内关于语言模型能力的发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →