Lola

新的LoLA方法提升Transformer的内存和召回能力

研究人员开发了LoLA，这是一种用于线性注意力机制的新型增强方法，可显著提高Transformer模型中的联想召回和记忆容量。LoLA将过去的键值对分布在三个内存系统中：一个本地滑动窗口，一个用于难以记忆的键值对的稀疏全局缓存，以及循环隐藏状态。这种方法在通过关键检索任务上的性能提高到97.4%的准确率，并且缓存比Llama 3.1 8B等现有模型小得多，在常识推理方面也优于其他亚二次模型。