一位开发者发现 Claude 的提示缓存功能未能按预期工作，导致命中率为 0%，成本增加。该问题源于系统提示中包含的动态时间戳，这使得每次请求都独一无二，因此不符合缓存条件。在将时间戳移至用户回合并解决了与 Python 的 set 排序相关的次要错误后，缓存命中率显著提高，从而节省了大量成本。 AI
影响 这凸显了使用 LLM 缓存功能可能存在的陷阱，以及仔细监控使用指标以优化成本的重要性。
排序理由 该条目详细说明了 AI 模型 API 特定功能中的一个错误及其对用户应用程序和成本的影响。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>I turned on Claude prompt caching, shipped it, and moved on. Nine days later I looked at the usage logs and saw <code>cache_read_input_tokens: 0</code> on every one of 3,412 calls.</p> <p>Not a low hit rate. Zero. And it was worse than zero, because every one of those calls pa…