SocraTeach

新颖的 KV 缓存管理技术提升 LLM 服务效率 · 追踪 8 个来源

近期研究探索通过先进的 KV 缓存管理技术来优化大型语言模型 (LLM) 的服务。论文研究了更有效的 KV 缓存驱逐方法，例如使用模型的中间层作为驱逐决策的裁判，以及开发能够根据不同请求类型调整驱逐策略的感知工作负载的管理器。其他研究则侧重于新颖的存储架构，例如 FlatCake，它提出了一个统一的 DRAM 和 SSD 地址空间，以克服传统分层存储的局限性；以及 ARK，它通过协调 KV 缓存传输来解决分离式 LLM 推理中的路由冲突。