English(EN) Where Should the KV Cache Live? Placement Policies Across GPU, CPU, and SSD for Long-Lived Sessions

探索 KV 缓存放置策略以提高 LLM 内存效率

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-16 04:00

一篇新的研究论文探讨了跨不同内存层级（GPU HBM、CPU DRAM、SSD）的 KV 缓存的最佳放置策略，以管理稀缺的 GPU 内存。该研究使用离散事件模拟器进行，发现内存分层可以支持显著更多的并发会话并降低成本，尽管放置策略本身对吞吐量的影响很小。评估了不同的策略，如近期性、重用频率和 EWMA，其中重用频率在代理和文档问答工作负载方面表现最佳，而近期性在聊天方面表现更好。 AI

影响优化 KV 缓存放置可以显著提高 LLM 会话容量并降低运营成本。

排序理由关于优化 LLM 推理基础设施的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 15 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 关于优化 LLM 推理基础设施的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Srikanta Datta Tumkur, Jay Iyer, Mehar Simhadri, Sai Pavan Kumar, Sai Kapil Kumar, Ramesh Nampelly · 2026-09-16 04:00

KV Cache 应放在何处？GPU、CPU 和 SSD 上针对长会话的放置策略

arXiv:2609.16215v1 Announce Type: new Abstract: GPU high bandwidth memory is scarce and expensive, and KV caches consume much of it as chats, agent loops, and document question answering accumulate state. Systems such as Mooncake, LMCache, FlexGen, InfiniGen, and AttentionStore e…

本文如何被排名

报道来源 [1]

KV Cache 应放在何处？GPU、CPU 和 SSD 上针对长会话的放置策略

相关实体

相关话题