Amazon Bedrock 为 Claude 4.6 模型推出提示缓存

Amazon Bedrock 已推出一项专门针对 Claude 4.6 模型的提示缓存功能，旨在显著降低 GenAI 应用的成本和延迟。此功能通过在 GPU 内存中冻结静态提示元素（如系统规则和公司手册）的数学表示（KV 缓存）来工作。当新请求到达时，AWS Bedrock 会检查提示的初始部分是否与先前缓存的指纹匹配；如果匹配，它将绕过标准处理，并将请求路由到冻结的缓存，从而节省大量时间和费用。为了有效利用此缓存，提示必须满足最低令牌阈值（Sonnet 4.6 为 1,024，Opus 4.6 为 4,096），保持在 5 分钟的 TTL（每次缓存命中时重置）内，并且至关重要的是，静态指令必须在提示结构中出现在任何动态用户消息之前。 AI

影响 降低了在 Amazon Bedrock 上使用 Claude 4.6 模型的应用程序的运营成本并提高了响应时间。

排序理由 这是对现有云平台和模型集成的功能增强，而不是新的前沿模型发布或重大的行业事件。

在 dev.to — LLM tag 阅读 →

• Amazon Bedrock
• AWS
• boto3
• Claude 4.6
• Claude 4.6 Opus
• Claude 4.6 Sonnet
• Claude Opus-4.6
• Claude Sonnet 4.6
• Python

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →