研究人员调查了累积变换在注意力机制中的外推能力，特别研究了用累积的、依赖数据的Householder反射替换RoPE的位置索引旋转如何影响性能。他们的发现表明，虽然这些累积变换可以改善长度外推能力，但在极端上下文长度下性能最终会下降。该研究还探讨了一种使用累积的、依赖令牌的旋转的简化变体，该变体表现出类似的行为。理论分析表明，累积的正交变换在有限步数后会导致不连贯，限制了对远距离令牌的注意力，并创建了一个有限的混合窗口。 AI
影响 调查了当前注意力机制在处理极端上下文长度方面的局限性，可能指导未来的架构改进。
排序理由 学术论文，详细介绍了注意力机制的理论和实验结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
