Anthropic 推出了提示缓存功能，通过缓存提示的初始稳定部分，显著降低了用户成本。此功能对存储提示编码状态的首次请求收取溢价，但在定义的生存时间 (TTL) 内的后续请求可获得大幅折扣。该系统缓存的是模型对提示静态上下文的内部表示，而不是响应本身，从而在缓存的输入 token 上节省高达 90% 的费用。 AI
影响 通过优化提示处理，降低了使用 Anthropic 模型开发者的运营成本。
排序理由 本文详细介绍了现有 AI 产品中用于降低成本的特定功能实现，而非新的模型发布或核心研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p>Anthropic's prompt caching is one of the highest-ROI LLM cost-reduction techniques shipped in the last two years, but the mechanics aren't immediately obvious from the docs. The pricing is non-uniform — a write premium on first writes balanced against a 90% discount on reads —…