English(EN) "RoPE extrapolates to longer contexts" — someone finally measured it, and it doesn't

研究发现 RoPE 位置编码无法外推到更长上下文

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-10 04:00

与普遍看法相反，旋转位置嵌入（RoPE）本身并不能外推到比其训练数据显著更长的上下文。2017 年的早期研究表明正弦编码可能具有外推能力，但 2022 年的后续测量显示，正弦和 RoPE 方法的外推能力都有限。2023 年开发了一种称为位置插值（Position Interpolation）的技术，正是因为 RoPE 和类似方法难以进行长度外推，这表明自由外推的说法是不准确的。虽然 RoPE 具有其他优势，例如高效的 KV 缓存，但其处理扩展上下文的能力并不像人们通常认为的那样强大。 AI

影响挑战了大型语言模型（LLMs）中自由长度外推的假设，可能影响未来的模型架构和训练策略。

排序理由该条目讨论了关于大型语言模型（LLMs）中位置编码方法外推能力的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 39 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该条目讨论了关于大型语言模型（LLMs）中位置编码方法外推能力的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Arun Kumar · 2026-09-10 04:00

RoPE 外插到更长上下文——终于有人测量了，结果并非如此

You've read this sentence, or something close to it: RoPE handles longer sequences than absolute positional encoding because rotations are periodic. I believed it too. Then I went looking for where it was measured, and found the opposite. The claim has a…

本文如何被排名

报道来源 [1]

RoPE 外插到更长上下文——终于有人测量了，结果并非如此

相关实体

相关话题