本文提供了一种通过识别可跨请求重用的稳定前缀来优化 LLM 提示缓存的方法。它包括一个辅助函数，用于估算最长连续稳定前缀的 token 数量，并根据可配置的最小 token 阈值建议是否缓存它。该指南还就缓存键管理和生存时间 (TTL) 设置提供了建议，并针对 GPT-5.6 等较新模型提出了关于显式与隐式缓存模式的具体建议。 AI
影响 为开发人员提供了一种通过有效的提示缓存来降低 LLM 延迟和成本的实用策略。
排序理由 该项目提供了关于优化 LLM 使用特定方面（提示缓存）的实用指南和代码，而不是宣布新模型或研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p>Implementation summary</p> <p>This post gives a practical decision flow for splitting an LLM prompt into a reusable prefix and a volatile suffix so you can use provider-side prompt caching safely and effectively. The included helper finds the longest contiguous leading stable …