对五种用于编码代理的 token 节省工具进行的最新基准测试显示，其宣传的 60-90% 的节省率在实际代理工作负载中并未实现。该研究使用了来自 SWE-bench 的 48 个 Django 问题，发现表现最好的工具 repowise 与未使用工具的基线相比，实现了约 32% 的 token 缩减。CodeGraph 等其他工具也显示出显著但较小的缩减。基准测试还强调了索引时间方面的权衡，尽管 repowise 在 token 节省方面表现最佳，但其索引时间最慢。 AI
影响 对 AI 代理效率工具的夸大宣传正受到挑战，这可能会影响其采用和开发重点。
排序理由 该条目详细介绍了 AI 代理工具的基准测试，并提供了量化结果和分析。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
