DishwasherBench 是一个新游戏和基准测试,旨在测试尖端 AI 模型在模拟真实世界任务中的能力。该游戏由 Composo 开发,涉及使用刚体物理加载 Bosch 洗碗机的 3D 模型,然后模拟洗涤周期以评估装载的清洁度。该基准测试可在浏览器中玩,也可通过 API 供 AI 代理访问,初步测试涉及三个级别、六个回合,使用了两个模型。 AI
影响 该基准测试可能会揭示当前 AI 模型在执行复杂物理操作和空间推理任务方面的局限性。
排序理由 该条目描述了一个新的基准测试和模拟,用于评估 AI 模型在特定任务上的表现。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →