一篇新的arXiv论文表明，自动演进的AI代理脚手架并不总是优于简单的搜索方法，对新任务的泛化能力有限。此外，研究表明，当在少量系统上进行测试时，AI模型的项目反应理论（IRT）排名可能不可靠，这可能会破坏行业比较。 AI
影响 新的研究对自动化AI代理演进的有效性以及当前AI模型基准测试方法的可靠性提出了质疑。
排序理由 arXiv和模拟研究中发布的两个独立研究结果，涉及AI代理演进和基准可靠性。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
AI agent harness evolution may not beat simple search New arXiv paper finds automatically evolving agent scaffolding doesn't consistently outperform test-time scaling, with limited generalization to new tasks. https://www. notatechguy.com/ai-agent-harne ss-evolution-may-not-beat-…
Item response theory for AI benchmarks gives unreliable rankings IRT rankings of AI models are unreliable when few systems are tested, 18,000 simulations show, threatening how the industry compares models. https://www. notatechguy.com/item-response- theory-for-ai-benchmarks-gives…