研究人员推出了 UnityBench-Mini3D，这是一个旨在评估大型语言模型 (LLM) 代理在 Unity 引擎 3D 游戏开发领域能力的新基准。该基准包含七个技能类别和三个难度级别的 77 个项目级任务，通过 1,178 个里程碑测试进行评估。与以往依赖主观评委或 Godot 等更简单平台的基准不同，UnityBench-Mini3D 提供了确定性的、引擎内的评估，用于精确的部分信用和故障定位。对 21 个模型的初步测试显示，平均通过率为 57.7%，在更具挑战性的任务上性能显著下降。 AI
影响 该基准可以加速游戏开发等复杂创意任务的 AI 代理的开发和评估。
排序理由 该集群描述了一篇介绍用于评估 LLM 代理的基准的新学术论文。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
