通过实施提示缓存，开发人员可以显著降低使用 Anthropic 的 Claude 等模型的 API 成本。此功能会存储提示的一部分，例如系统指令或工具定义，并在首次写入后以低得多的速率提供。例如，一位用户通过缓存大型系统提示，每日 API 账单减少了 85%，有效地将重复 token 的成本从每百万美元 3.00 美元降至 0.30 美元。提示缓存的有效性取决于请求频率，如果请求间隔超过五分钟，则收益会降低，因为缓存的 TTL 在每次命中时重置，但在不活动后会过期。 AI
影响 通过提示缓存优化 token 使用，从而实现使用大型语言模型的开发人员的显著成本降低。
排序理由 该集群描述了一个技术实现细节及其对现有 AI 模型 API 用户节省成本的好处，而不是新的模型发布或核心研究。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<p>Last month I ran a side-by-side test on an AI agent that processes about 4,000 requests a day. The agent has a long system prompt (roughly 2,800 tokens of rules, tool definitions, and examples) that gets sent with every single call. Before prompt caching: $47/day. After enabli…
<!-- SC_OFF --><div class="md"><p>**TL;DR:** Claude Code caches your prompts as you go. When continuing an existing conversation, the previous part of your prompt that is already cached is billed only at 10% of the full cost. By default, Claude Code in billed-per-token setups set…