人工智能代理的标准基准测试系统性地低估了它们的能力，因为它们施加了人为的计算预算限制。英国人工智能安全研究所的一项研究发现，将令牌预算增加十倍，在软件工程任务的成功率方面带来了大约 25% 的提升。这表明实际的人工智能进展比以往测量的要陡峭得多，突显了在排行榜分数之上进行现实世界测试的必要性。 AI
影响 强调了对人工智能代理需要更现实的测试方法，这可能会影响人工智能能力如何被评估和比较。
排序理由 关于标准人工智能评估基准局限性的研究论文发现。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p><img alt="" class="attachment-full size-full wp-post-image" height="768" src="https://the-decoder.com/wp-content/uploads/2026/07/test_time_compute_illustration-2.png" style="height: auto; margin-bottom: 10px;" width="1376" /></p> <p> In a study covering seven benchmarks, the U…
Standard benchmarks are failing us. They systematically underestimate what AI agents can actually do. If your strategy relies on public leaderboard scores to assess risk or capability, you’re flying blind. Real-world testing is now the only metric that matters. # AI # LLMs
Das britische AI Security Institute belegt: Standard-Benchmarks unterschätzen Agenten, weil sie das Rechenbudget drosseln. Bei SWE-Aufgaben steigt die Erfolgsrate um 25 Prozent – wer Agenten nur unter Budgetzwang evaluiert, übersieht reale Fähigkeiten. https:// the-decoder.de/bri…