AI模型在马拉松式任务中挣扎，揭示基准测试局限性 · 跟踪到1个来源

新的基准测试揭示了AI模型在短期、单次会话任务上的表现与处理长达数小时操作的能力之间存在显著差距。虽然GLM-5.2和GPT-5.5等模型在SWE-bench等基准测试中表现出色，但在SWE-Marathon等需要持续数小时和数百万个token才能完成的任务上，它们的成功率急剧下降。这种差异凸显了当前基准测试可能无法准确反映现实世界代理的能力，而真正的挑战在于构建具有有效自我验证和恢复机制的强大系统，而不仅仅是关注模型权重。 AI

影响 强调了需要更现实的基准测试和更强大的系统设计，以便AI代理能够处理复杂、长时间的任务。

排序理由 该项目讨论了新的基准测试及其对AI模型性能的影响，这属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

• GLM-5.2
• GPT-5.5
• Opus 4.7
• Opus 4.8
• SWE-bench Pro
• SWE-Marathon

• 论文
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →