InertiaKV-Lazy

KV 缓存压缩研究确定时间聚合为关键因素

研究人员调查了时间聚合和排名保留对大型语言模型解码时 KV 缓存压缩的影响。他们发现指数移动平均 (EMA) 聚合可以使评分器修改在驱逐级别无法区分，从而实现稳定的保留集。这促成了 InertiaKV 和 InertiaKV-Lazy 的开发，这些方法与完全刷新方法相比，将解码吞吐量提高了 1.34-1.46 倍。该研究还探讨了无评分解码，它在显著降低计算成本的同时保持了平均质量。