AdaRoPE

AdaRoPE 通过特定头的位置嵌入增强 Transformer 性能

研究人员引入了 AdaRoPE，一种新颖的旋转位置嵌入 (RoPE) 方法，解决了 Transformer 标准实现中的局限性。AdaRoPE 认为模型中的不同注意力头具有不同的功能角色，因此需要个性化的频率范围和缩放因子以获得最佳性能。通过为每个头配备可学习的参数，AdaRoPE 在短上下文和长上下文场景中均表现出改进的性能，优于 YaRN 等现有的 RoPE 变体。