Cache-Control
PulseAugur coverage of Cache-Control — every cluster mentioning Cache-Control across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Claude 提示缓存因时间戳错误而失败,导致用户成本增加
一位开发者发现 Claude 的提示缓存功能未能按预期工作,导致命中率为 0%,成本增加。该问题源于系统提示中包含的动态时间戳,这使得每次请求都独一无二,因此不符合缓存条件。在将时间戳移至用户回合并解决了与 Python 的 set 排序相关的次要错误后,缓存命中率显著提高,从而节省了大量成本。
-
Prompt 缓存配置错误导致 LLM 成本意外增加
一位开发者由于提示缓存配置错误,遇到了 LLM 成本意外增加的问题。问题源于将动态内容(如时间戳或用户特定数据)放置在缓存控制断点之前。这导致系统为每个请求写入新的缓存条目,而不是从缓存读取,从而导致了 25% 的成本附加费。开发者建议监控 `usage.cache_read_input_tokens` 以确保缓存正常运行,并建议将易变数据放置在最后一个缓存断点之后。
-
AI 在软件开发中的应用:缓存成本、TDD 焦虑与自主定价
该集群探讨了 AI 在软件开发和系统优化中的实际应用和潜在挑战。一篇文章详细介绍了如果不正确管理,Prompt 缓存可能会增加成本,并提供了高效缓存控制的解决方案。另一篇文章讨论了 AI 代理集成到测试驱动开发 (TDD) 中,探讨了 AI 如何自主实践 TDD,同时也重新引入了开发过程中的焦虑。第三篇文章分享了关于定价管道的经验,其中相关性模型自主设置价格,强调了仔细实施和护栏的必要性。
-
AI规范的缓存邮戳充当“骗子”,缺乏真正验证
最近的一项规范 (SEP-2549) 在 tools/list 中引入了 `ttlMs` 和 `cacheScope` 邮戳,类似于 HTTP Cache-Control。然而,这些邮戳仅仅是关于未来潜在重用的声明,并不能保证后续请求会返回缓存数据。该系统已被观察到充当“骗子”,服务器可以提供有效的邮戳信息但更改其目录内容,通过仅检查这些邮戳存在的探测。目前正在努力通过要求探测验证每个教学条款并命名失败的具体条款来改进审计过程,确保邮…
-
Anthropic 的提示缓存可为稳定输入大幅降低 LLM 成本
Anthropic 推出了提示缓存功能,通过缓存提示的初始稳定部分,显著降低了用户成本。此功能对存储提示编码状态的首次请求收取溢价,但在定义的生存时间 (TTL) 内的后续请求可获得大幅折扣。该系统缓存的是模型对提示静态上下文的内部表示,而不是响应本身,从而在缓存的输入 token 上节省高达 90% 的费用。