Prompt caching 是一种通过重用已计算的提示状态来降低 LLM 应用程序成本和延迟的技术。它涉及将提示分为稳定的前缀（系统提示、工具定义）和易变的后缀（用户查询）。首次调用会因预填充前缀而产生较高成本，但后续具有相同前缀的调用可以加载缓存状态，将这些 token 的成本降低约 90%，并显著减少延迟。此方法需要确定性的前缀，因为任何更改都会使缓存失效，从而导致账单增加而没有明确的错误。 AI
影响 通过优化提示处理，降低 LLM 应用程序的运营成本并提高响应时间。
排序理由 该条目描述了 LLM 应用程序的技术优化，而不是新的模型发布或核心研究。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
