Large-Window Laziness

研究重新思考混合语言模型中的高效注意力机制

一篇新的研究论文分析了语言模型中的混合架构，该架构结合了全注意力机制和滑动窗口注意力（SWA）等高效注意力模块。研究发现，高效注意力主要影响长上下文能力出现的速度，而不是最终性能，后者在充分训练后往往会在不同的混合设计中趋于一致。研究人员还发现了一种称为“大窗口惰性”的现象，即较大的SWA窗口会减缓全注意力层中检索头的发展。该论文提出，在SWA混合模型中仅将位置编码应用于全注意力层，以增强长上下文性能，同时不降低短上下文能力。