temporal logic

新 arXiv 论文分析 RoPE transformer 的表达能力

一篇新发布的 arXiv 论文探讨了 transformer 中旋转位置嵌入 (RoPE) 的表达能力。该研究将 RoPE 成功的两种常见解释形式化：一种将周期性位置信息与模态谓词联系起来，另一种则强调用于机制和长上下文研究的位置锚点和局部偏移。研究结果表明，虽然周期性 RoPE transformer 可以识别在过去时态逻辑中可定义的语言（具有模态谓词），但常规 RoPE 的非重复旋转提供了对固定偏移回溯算子的精度依赖性模拟，其行为…