论文解释了为何相对位置编码能提升 Transformer 的泛化能力

一篇新论文提出了一个基于优化的解释，说明为何具有相对位置编码的 Transformer 比具有绝对编码的 Transformer 在泛化到更长序列时表现更好。研究表明，梯度下降的隐式偏差在使用 Rotary Encodings 时倾向于有利于对相对位置具有等变性的解，从而在不同序列长度下实现一致的性能。相比之下，绝对编码倾向于记忆特定位置，阻碍了外插。该研究通过在最小检索任务和全序列长度泛化任务上的实验证实了这些发现，并指出线性注意力机制在没有 softmax 归一化的情况下不表现出相同的泛化行为。 AI

影响 为理解和潜在地改进 Transformer 架构中的序列长度泛化提供了一个理论框架。

排序理由 该集群包含一篇学术论文，详细阐述了对 Transformer 模型中已知现象的新理论解释。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• Absolute Encodings
• gradient descent
• linear attention
• RASP-L conjecture
• Rotary Encodings
• Softmax
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →