大型语言模型的定价结构正变得日益复杂,不同提供商在处理缓存读取方面存在显著差异。例如,Anthropic 针对其 Claude Fable 5.1 和 Claude Mythos 5.1 模型推出了大幅度的缓存读取折扣,定价为基础输入费率的 0.025 倍,是标准乘数的四分之一。此举凸显了行业缺乏标准化,因为 Groq、Google、OpenAI 和 DeepSeek 等其他供应商都有自己独特的定价模式,其中一些模式包括单独收取缓存存储费用或根据一天中的不同时间收费。作者指出,虽然缓存折扣可以降低一致性查询的成本,但提示或系统配置的任何修改都可能使缓存失效,导致后续读取按全额基础输入价格收费,从而显著增加成本。 AI
影响 不同的 LLM 缓存策略给 AI 代理带来了不可预测的成本,需要仔细的提示工程和工具管理。
排序理由 该项目讨论的是定价策略及其对用户的影响,而不是宣布新模型或研究突破。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →