旨在测试大型语言模型(LLM)的长期推理和代理编码能力的 StarSkirmish 基准测试发布了其 v0.2 版本结果。在此基准测试中,模型需要在 1 小时内用 C++ 编写一个《星际争霸:血战》机器人,并与其他 LLM 生成的机器人和人类编写的机器人进行性能评估。GPT-6 Astra 成为表现最佳的模型,显著领先于其他模型,而 Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 的得分相当,但较低。该基准测试还强调,即使是表现最好的模型,其能力仍远低于顶尖人类编写的机器人,表明未来仍有改进空间。 AI
影响 为大型语言模型的代理编码和长期推理设定了新的基准,推动了人工智能在复杂战略游戏中的能力前沿。
排序理由 发布了具有详细方法论和比较分析的大型语言模型基准测试结果。[lever_c_demoted from research: ic=1 ai=1.0]
- Anthropic
- Claude Fable 5.1
- Claude Opus 5.5
- Gemini 4 Argon
- GPT-6.1 Sol
- GPT-6 Astra
- Meta*
- Muse Wonder Full
- OpenAI
- StarSkirmish
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →