Key-Value Means

键值均值注意力机制提供 O(N) Transformer 性能

研究人员推出了一种新的 Transformer 注意力机制——键值均值（KVM），它可以处理固定大小和不断增长的状态。当使用固定大小的缓存实现时，KVM 充当一个 O(N) 的分块 RNN，参数增加极少。可增长的 KVM 缓存版本在长上下文任务上表现出竞争力，提供亚二次预填充时间和亚线性状态增长。该方法与标准操作兼容，支持分块并行训练，并在预填充时间复杂度和内存使用之间提供灵活的权衡。