一位用户发现,他们的 Claude 代码 API 使用量中有 56% 用于模型重新阅读之前的对话上下文,而不是执行新任务。这是因为每次 API 调用都会重新发送整个对话历史记录,并且他们的调用频繁超过 200,000 个 token。该用户正在测试诸如在不相关的任务之前清除上下文以及提前自动压缩等策略,以减少这种开销。 AI
影响 突显了与上下文窗口管理相关的 LLM API 使用中潜在的低效率。
排序理由 用户对现有产品的 API 使用模式进行的分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →