研究人员推出了WorldCoder-Bench，这是一个旨在评估大型语言模型根据自然语言提示合成物理基础的3D交互世界的能力的新基准。该基准包含模拟、渲染和应用场景中的2000多个任务，并纳入了隐藏的行为契约来测试程序集成和状态管理。对九个前沿模型的初步评估显示，即使是最好的系统，验证覆盖率也低于30%，这凸显了在保持状态一致性和交互链方面存在的重大挑战。 AI
影响 该基准测试有望推动LLM生成复杂、交互式3D环境的能力的进步，从而影响游戏开发和虚拟世界创建。
排序理由 该集群包含一篇介绍用于评估AI能力的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →