对 Anthropic 在真实生产流量上进行提示缓存的研究显示，成本节约显著，其中提供商内置的缓存是最有效的层。这项针对 330 次 LLM 调用以进行 AI 搜索可见性监控的分析发现，精确匹配缓存的命中率低于 5%，节省成本极少，主要作为幂等性功能。语义缓存的命中率较高，但产生了大量的基建成本，使其仅适用于大规模运营。 AI
影响 提供了关于优化 LLM 运营成本的具体数据，突出了 Anthropic 的原生缓存作为开发者提高效率的关键驱动力。
排序理由 该集群包含对提示缓存对 LLM 工作负载有效性的详细分析和真实世界数据，以技术报告的形式呈现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →