一位开发者构建了一个名为 llm-cost-audit 的开源工具来分析大型语言模型使用日志,并通过提示缓存发现了显著的成本节约。通过分析使用 Anthropic 的 Claude Code 进行 7,407 次编码代理调用,该工具显示,通过重用 98.3% 的输入 token,提示缓存将成本从估计的 6,301 美元降低了 91%,降至 566 美元。分析还揭示了成本审计工具本身的两个错误,并强调了缓存写入成本,特别是对于较长的缓存生命周期,占了剩余费用的大部分。 AI
影响 强调了提示缓存对于开发人员和产品团队管理 LLM 运营成本的关键作用。
排序理由 开发者对特定工具成本节约的分析。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →