English(EN) HySPE: Positional Encoding via Symplectic Dual Shears

新的HySPE位置编码方法在RoPE外推方面表现更优

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-08 04:00

研究人员推出了一种新颖的位置注意力方法——双曲辛位置编码（HySPE），用于将位置注意力置于非紧辛变换中。与使用旋转的旋转位置嵌入（RoPE）不同，HySPE在其双曲分支中采用阻尼对称的双对偶剪切组合。这种方法为每个通道对提供两个频谱衰减率，并确保长度无关的数值界限，同时匹配RoPE的前向延迟。在TinyShakespeare上的实验表明，HySPE具有更优的外推能力，其不变困惑度保持得比RoPE好得多。在WikiText-103上训练的Transformer模型上，HySPE在域内性能上与RoPE相当，并在外推到更长序列时显著降低了尾部困惑度。 AI

影响 HySPE在序列长度外推方面展现出的鲁棒性有望带来更强大、更高效的大型语言模型。

排序理由该集群包含一篇研究论文，详细介绍了一种用于NLP模型的新位置编码方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 8 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇研究论文，详细介绍了一种用于NLP模型的新位置编码方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Same-day; Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.CL TIER_1 English(EN) · Zhongping Ji · 2026-10-08 04:00

HySPE：通过辛对偶剪切实现位置编码

arXiv:2610.10154v1 Announce Type: new Abstract: We introduce Hyperbolic Symplectic Positional Encoding (HySPE), grounding positional attention in non-compact symplectic transformations. While canonical Rotary Position Embedding (RoPE) parameterizes the compact, elliptic branch of…

本文如何被排名

报道来源 [1]

HySPE：通过辛对偶剪切实现位置编码

相关实体

相关话题