Multi-Query Associate Recall

模糊窗口注意力提高了Transformer处理长上下文的效率

研究人员推出了一种新方法——模糊窗口注意力（BLA），旨在提高Transformer语言模型处理长上下文的效率。BLA通过使用狄利克雷核从频率窗口重建模糊的KV历史，解决了标准Softmax注意力的二次复杂度和不断增长的KV缓存大小限制。该方法在滑动窗口注意力方面提供了状态效率的改进，并在需要信息检索的任务上保持了与其他线性注意力模型相当的性能。