一位开发者分析了使用AI编码代理的成本,发现很大一部分费用,约87.8%,归因于模型重新阅读自己的上下文,而不是生成新输出。这种“输入放大”是因为代理在每一步都会重新发送整个对话历史。通过对照实验,发现每三个任务后清除代理的上下文是最具成本效益的策略,与每个任务后清除相比,费用降低了约25.1%。该开发者发布了一个名为`contextburn`的开源工具,以帮助其他人衡量和管理这些成本。 AI
影响 突出了当前AI代理架构中一个关键的成本效率低下问题,促使开发者优化上下文管理以降低运营费用。
排序理由 开发者发布了一个开源工具来衡量和优化AI代理的上下文处理成本。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →