Alexia Jolicoeur-Martineau

滑动窗口注意力在大型语言模型中优于线性注意力

一篇新的arXiv论文提出滑动窗口注意力（SWA）作为大型语言模型线性注意力的更优替代方案。研究表明，SWA在各种任务上的表现与经过后训练的线性注意力模型相当或更好，并且在长上下文推理场景（如Needle-in-a-Haystack和BABILong）中显著优于线性注意力。作者推荐SWA，因为它效率高、速度快、内存需求低且无需后训练，表明它是一种更具成本效益和可靠的解决方案。