English(EN) Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings

新的 PoPE 嵌入在 Transformer 中解耦内容和位置

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-09 04:00

研究人员开发了极坐标位置嵌入 (PoPE) 来改进 Transformer 架构，通过解耦内容和位置信息。这种新方法 PoPE 解决了现有 RoPE 嵌入中内容和位置纠缠的局限性，这可能会阻碍性能。PoPE 在需要基于位置或内容的索引任务中表现出卓越的性能，并在音乐、基因组学和自然语言的序列建模中显示出显著的提升，甚至优于专为长度外推设计的方法。 AI

影响 PoPE 通过提高位置感知能力，可以增强 Transformer 在序列建模任务中的性能，从而可能带来更好的语言模型和其他基于序列的人工智能应用。

排序理由学术论文，介绍了一种 Transformer 架构中位置嵌入的新颖方法。 [lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Anand Gopalakrishnan, Robert Csord\'as, J\"urgen Schmidhuber, Michael C. Mozer · 2026-06-09 04:00

使用极坐标位置嵌入解耦“什么”和“在哪里”

arXiv:2509.10534v3 Announce Type: replace-cross Abstract: The attention mechanism in a Transformer architecture matches key to query based on both content -- the what -- and position in a sequence -- the where. We present an analysis indicating that what and where are entangled i…

报道来源 [1]

使用极坐标位置嵌入解耦“什么”和“在哪里”

相关实体

相关话题