PulseAugur
实时 17:01:04
English(EN) Standard benchmarks are failing us. They systematically underestimate what AI agents can actually do. If your strategy relies on public leaderboard scores to as

英国人工智能安全研究所:基准测试因计算限制而低估人工智能代理的能力 · 跟踪 3 个来源

人工智能代理的标准基准测试系统性地低估了它们的能力,因为它们施加了人为的计算预算限制。英国人工智能安全研究所的一项研究发现,将令牌预算增加十倍,在软件工程任务的成功率方面带来了大约 25% 的提升。这表明实际的人工智能进展比以往测量的要陡峭得多,突显了在排行榜分数之上进行现实世界测试的必要性。 AI

影响 强调了对人工智能代理需要更现实的测试方法,这可能会影响人工智能能力如何被评估和比较。

排序理由 关于标准人工智能评估基准局限性的研究论文发现。

在 Mastodon — mastodon.social 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

英国人工智能安全研究所:基准测试因计算限制而低估人工智能代理的能力 · 跟踪 3 个来源

报道来源 [3]

  1. The Decoder TIER_1 English(EN) · Matthias Bastian ·

    UK's AI Security Institute finds standard benchmarks systematically underestimate what AI agents can actually do

    <p><img alt="" class="attachment-full size-full wp-post-image" height="768" src="https://the-decoder.com/wp-content/uploads/2026/07/test_time_compute_illustration-2.png" style="height: auto; margin-bottom: 10px;" width="1376" /></p> <p> In a study covering seven benchmarks, the U…

  2. Mastodon — mastodon.social TIER_1 English(EN) · strike007 ·

    Standard benchmarks are failing us. They systematically underestimate what AI agents can actually do. If your strategy relies on public leaderboard scores to as

    Standard benchmarks are failing us. They systematically underestimate what AI agents can actually do. If your strategy relies on public leaderboard scores to assess risk or capability, you’re flying blind. Real-world testing is now the only metric that matters. # AI # LLMs

  3. Mastodon — mastodon.social TIER_1 Deutsch(DE) · aisyndicate ·

    The British AI Security Institute proves: Standard benchmarks underestimate agents because they throttle the compute budget. Success rates increase for SWE tasks

    Das britische AI Security Institute belegt: Standard-Benchmarks unterschätzen Agenten, weil sie das Rechenbudget drosseln. Bei SWE-Aufgaben steigt die Erfolgsrate um 25 Prozent – wer Agenten nur unter Budgetzwang evaluiert, übersieht reale Fähigkeiten. https:// the-decoder.de/bri…