研究人员开发了 WAKMan，这是一种新颖的、感知工作负载的 KV 缓存管理器，旨在优化大型语言模型 (LLM) 服务器的性能。传统的 LRU 和 S3FIFO 等驱逐策略在处理包含单轮、多轮和代理请求的各种生产流量时存在困难。WAKMan 能够根据实时流量动态选择其驱逐策略，而无需分析请求类型或内容，与 LRU 相比，缓存命中率平均提高了 5 个百分点，并在各种工作负载组合中展现出卓越的性能。 AI
影响 通过提高 KV 缓存命中率来优化 LLM 服务效率，可能降低 AI 应用的延迟和运营成本。
排序理由 该集群包含一篇学术论文，详细介绍了 LLM 基础设施的新技术方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
