一位使用 Claude Code 的软件开发者发现,仅两天时间就消耗了 95% 的 AI 编码配额,这主要是因为模型重读了大量的对话历史记录,而不是生成新代码。该开发者的日志显示,99.9% 的处理令牌用于上下文重读,缓存读取占所有令牌的 97.6%。这种高昂的成本归因于大型上下文窗口(超过 20 万个令牌)以及子代理的使用,子代理通过为每个步骤重读上下文来成倍增加请求。为了应对这种情况,该开发者计划限制会话上下文大小、减少并行子代理数量,并对常规任务使用更小的模型。 AI
影响 凸显了 LLM 开发工具中大型上下文窗口和代理架构带来的显著成本影响。
排序理由 开发者个人经验和对 AI 工具使用成本的分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →