新 arXiv 论文分析 RoPE transformer 的表达能力

一篇新发布的 arXiv 论文探讨了 transformer 中旋转位置嵌入 (RoPE) 的表达能力。该研究将 RoPE 成功的两种常见解释形式化：一种将周期性位置信息与模态谓词联系起来，另一种则强调用于机制和长上下文研究的位置锚点和局部偏移。研究结果表明，虽然周期性 RoPE transformer 可以识别在过去时态逻辑中可定义的语言（具有模态谓词），但常规 RoPE 的非重复旋转提供了对固定偏移回溯算子的精度依赖性模拟，其行为更像是有界局部性偏差。 AI

影响 为旋转位置嵌入的能力和局限性提供了理论见解，可能影响未来的 transformer 架构。

排序理由 在 arXiv 上发表的学术论文，详细介绍了对 transformer 模型中使用的组件进行的理论分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Hugging Face
• modular predicates
• RoPE
• Rotary Position Embeddings
• temporal logic
• transformers

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →