HeadKV-R2

新的REAL方法大幅削减长上下文LLM的KV缓存大小

研究人员开发了一种名为REAL（REtrieval-reAsoning and Logic-constructed）的新方法来压缩大型语言模型的键值（KV）缓存，以应对日益增长的序列长度带来的挑战。与以往只关注成功检索案例的方法不同，REAL分析了成功和失败场景下的注意力头行为。通过加强有效的推理路径并抑制偏差和干扰产生的噪声，REAL在所需空间显著减少的情况下实现了与现有方法相当的准确性，在LongBench v2基准测试中实现了32倍的缩减。