Householder reflections

累积变换可改善LLM长度外推能力，但在极端情况下会下降

研究人员调查了累积变换在注意力机制中的外推能力，特别研究了用累积的、依赖数据的Householder反射替换RoPE的位置索引旋转如何影响性能。他们的发现表明，虽然这些累积变换可以改善长度外推能力，但在极端上下文长度下性能最终会下降。该研究还探讨了一种使用累积的、依赖令牌的旋转的简化变体，该变体表现出类似的行为。理论分析表明，累积的正交变换在有限步数后会导致不连贯，限制了对远距离令牌的注意力，并创建了一个有限的混合窗口。