人工智能代理的标准基准测试系统性地低估了它们的能力,因为它们施加了人为的计算预算限制。英国人工智能安全研究所的一项研究发现,将令牌预算增加十倍,在软件工程任务的成功率方面带来了大约 25% 的提升。这表明实际的人工智能进展比以往测量的要陡峭得多,突显了在排行榜分数之上进行现实世界测试的必要性。 AI
影响 强调了对人工智能代理需要更现实的测试方法,这可能会影响人工智能能力如何被评估和比较。
排序理由 关于标准人工智能评估基准局限性的研究论文发现。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →