Kronecker Product Attention

Kronecker Product Attention 为 LLM 提供 10 倍 KV 缓存压缩

研究人员推出了一种新方法 Kronecker Product Attention (KPA)，用于压缩自回归模型的键值 (KV) 缓存。KPA 使用紧凑矩阵因子的 Kronecker 积之和来表示 KV 激活，这严格地推广了现有的技术，如 Tensor Product Attention。该方法旨在减少限制高效生成的内存占用，同时不牺牲模型的表达能力或需要复杂的 positional encoding 机制。经验表明，KPA 在各种模…