MineCEraft

新的 MineCEraft 基准测试评估 LLM 在 Minecraft 建造任务中的能力

研究人员开发了 MineCEraft，这是一个新的基准测试，旨在评估大型语言模型 (LLM) 在 Minecraft 游戏中执行建造工程任务的能力。这个开源基准测试包含 723 条手工制作的指令，涵盖 17 个任务类别，并提供程序可验证的评估来衡量 LLM 的可靠性。使用 MineCEraft 进行的初步评估揭示了将 LLM 应用于此类建造工程任务时存在的显著故障模式和实际挑战。