最近的一项分析显示,Anthropic 的 Claude 模型具有不同的提示缓存阈值,像 Haiku 4.5 这样更便宜的模型需要更长的提示(4,096 个 token)才能启用缓存,而像 Opus 5 这样更昂贵的模型(512 个 token)则不需要。这种差异意味着,频繁使用的较短提示可能不会被最便宜的模型缓存,导致处理成本高于预期。研究发现,为重复使用而设计的典型技能文件通常低于最便宜模型的缓存底线,使其在这些工作负载下的成本效益较低。 AI
影响 突出了用户路由到更便宜模型可能存在的成本效率低下问题,表明在选择模型时需要考虑提示长度和缓存行为。
排序理由 对模型行为和成本影响的分析,而非直接发布或产品发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →