Anthropic开发的一个名为VirBench的新基准测试揭示了AI代理性能存在显著的不一致性，即使使用相同的模型和提示。该基准测试表明，代理在同一任务上可能产生截然不同的输出，Claude Sonnet 4的准确率从92.8%下降到16.9%。关键发现是，解决方案并非更高级的模型，而是一个简单的、确定性的Python工具。当集成该工具后，Claude Sonnet 4的准确率跃升至92.8%，GPT-5.5达到99.7%，有效消除了可变性。 AI
影响 强调了确定性工具在代理工程中的关键作用，表明提高AI性能的重点已从模型规模转向系统架构。
排序理由 该项目讨论了一个新的基准测试（VirBench）及其关于AI代理性能的发现，这是一个面向研究的主题。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
