一位开发者分析了他们使用 Anthropic 的 Claude Code 的情况,发现上下文窗口的成本并非一次性收费,而是每次交互都会收取费用。虽然提示缓存提供了显著的折扣,但该模型大约在 100 万个 token 限制时触发的自动压缩功能会重置上下文并导致处理延迟。此次分析将成本重新定义为每次交互时重新发送整个对话历史记录的经常性成本,而不是上下文窗口本身的费用,并通过缓存和压缩来缓解。 AI
影响 强调了大型语言模型中大上下文窗口的成本影响以及压缩机制的作用。
排序理由 开发者对产品成本结构的分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →