S3FIFO

WAKMan 优化 LLM KV 缓存管理以适应不同工作负载

研究人员开发了 WAKMan，这是一种新颖的、感知工作负载的 KV 缓存管理器，旨在优化大型语言模型 (LLM) 服务器的性能。传统的 LRU 和 S3FIFO 等驱逐策略在处理包含单轮、多轮和代理请求的各种生产流量时存在困难。WAKMan 能够根据实时流量动态选择其驱逐策略，而无需分析请求类型或内容，与 LRU 相比，缓存命中率平均提高了 5 个百分点，并在各种工作负载组合中展现出卓越的性能。