实体
vCache
vCache
PulseAugur coverage of vCache — every cluster mentioning vCache across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
新颖的 KV 缓存管理技术提升 LLM 服务效率 · 追踪 8 个来源
近期研究探索通过先进的 KV 缓存管理技术来优化大型语言模型 (LLM) 的服务。论文研究了更有效的 KV 缓存驱逐方法，例如使用模型的中间层作为驱逐决策的裁判，以及开发能够根据不同请求类型调整驱逐策略的感知工作负载的管理器。其他研究则侧重于新颖的存储架构，例如 FlatCake，它提出了一个统一的 DRAM 和 SSD 地址空间，以克服传统分层存储的局限性；以及 ARK，它通过协调 KV 缓存传输来解决分离式 LLM 推理中的路由冲突。
-
FreshCache系统通过风险感知语义缓存优化LLM检索
研究人员开发了FreshCache，一个新颖的三层语义缓存系统，旨在降低检索增强型大型语言模型（LLM）的延迟和成本。FreshCache将缓存重用视为一个风险约束的时间推理问题，使用拟合的指数衰减模型和学习到的MLP来估计缓存数据过时的概率。与二元的过时/新鲜决策不同，这种方法允许数据随着时间的推移优雅地降级。在基准测试中，FreshCache在最小化过时错误的同时实现了显著的搜索API节省，其性能优于SemanticTTL和vCa…