KV store
PulseAugur coverage of KV store — every cluster mentioning KV store across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
AMD MI355X 通过 SGLang 和 UMBP 集成缩小了与 GB300 的性能差距 · 跟踪 3 个来源
SemiAnalysis 报道称，AMD 的 MI355X 在代理推理性能和总拥有成本方面正在迅速提高，接近 GB300 的水平。这一进步归功于 AMD 的 SGLang 团队及其 MoRI 库，Universitas Mandiri Bina Prestasi (UMBP) 也做出了重要贡献。UMBP 作为 KV 卸载后端集成到 SGLang 中，特别是通过 KVCache Store Linker，优化了 High Bandwid…
-
提示缓存将 Claude API 成本削减 85%
一位开发者详细介绍了一种提示缓存策略，该策略显著降低了他们使用 Anthropic 的 Claude 3.5 Sonnet 模型的 API 成本。通过实施提示缓存（存储和重用常见的提示前缀），该开发者的日常开销减少了 85%，从 47 美元降至 6.80 美元。此方法对于发送给几乎所有 API 调用的大型系统提示、工具定义和少量示例特别有效，通过缓存令牌的折扣费率实现可观的节省。
-
Anthropic 的 Claude 提示缓存将 API 成本降低高达 85%
通过实施提示缓存，开发人员可以显著降低使用 Anthropic 的 Claude 等模型的 API 成本。此功能会存储提示的一部分，例如系统指令或工具定义，并在首次写入后以低得多的速率提供。例如，一位用户通过缓存大型系统提示，每日 API 账单减少了 85%，有效地将重复 token 的成本从每百万美元 3.00 美元降至 0.30 美元。提示缓存的有效性取决于请求频率，如果请求间隔超过五分钟，则收益会降低，因为缓存的 TTL 在每次…