两项近期分析突显了AI代理处理token成本方面存在的显著低效率，尤其是在发送给语言模型的数据方面。第一项分析由Zied Mnif进行，揭示了AI代理在每次请求时经常重新发送大量的系统提示和工具模式，导致token开销可能比实际用户查询大很多倍。第二项分析由Layzer Zero进行，介绍了一个名为Headroom的GitHub项目，该项目在将工具输出、日志和RAG块发送到LLM之前对其进行压缩，声称在对答案质量影响极小的情况下，token使用量减少了60-95%。这些发现表明，当前的代理架构在输入token上可能大大地过度花费，对于大规模运营而言，潜在的月度节省可能高达数千美元。 AI
影响 优化AI代理中的token使用量可以显著降低大规模部署的运营成本并提高效率。
排序理由 该集群讨论了一个新的软件工具（Headroom），该工具通过减少token使用量来优化AI代理的性能，并分析了AI代理token成本方面现有的低效率。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<p>Every AI agent re-sends its entire system prompt <strong>and every tool/function schema</strong> on <em>every single turn</em>. That fixed payload is billed as input tokens on each request — invisibly — until the bill arrives. I measured exactly how much across <strong>13 real…
<h1> A GitHub project claims 60-95% fewer tokens with the same answers. The number is real. The economics it implies for your agent fleet are uncomfortable. </h1> <p>A project named <code>headroom</code> hit the GitHub trending page this week. The pitch is one line: compress tool…