新研究将RoPE频率使用与训练数据结构联系起来

研究人员调查了旋转位置嵌入（RoPE）在Transformer中的使用方式，并提出特定频率的使用取决于训练数据的相对距离结构。他们发现，最优频率与数据诱导依赖关系的宽度成反比，这表明自然语言的多尺度特性导致了语言模型中观察到的中低频使用。这种频率匹配原则也影响长度泛化，其中降低频率可以扩展有效上下文，但如果依赖关系没有与上下文长度成比例扩展，则可能失败。 AI

影响 为RoPE频率使用提供了数据驱动的解释，可能为未来模型架构的长度泛化提供信息。

排序理由 阐述Transformer位置嵌入新发现的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• IArxiv
• Rotary Position Embeddings
• ScienceCast
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →