PulseAugur
中
实时 05:57:52
English(EN) nD-RoPE: A Generalized RoPE for n-Dimensional Position Embedding

nD-RoPE 将 Transformer 位置嵌入推广到 n 维

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的 nD-RoPE 方法，用于将旋转位置嵌入 (RoPE) 推广到 n 维空间。与先前独立处理维度的方​​法不同，nD-RoPE 将位置和频率构建为耦合的 n 维向量。这种从平移不变视角推导出的统一理论框架，能够实现更丰富的跨维度交互。在图像、视频和点云数据上的实验表明，nD-RoPE 在高维设置下始终能提高性能和泛化能力。 AI

影响 这种新方法可以提高 Transformer 模型处理图像和视频等高维数据的性能。

排序理由 该集群包含一篇介绍 AI 模型中位置嵌入新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Takahiro Yabe ·

    nD-RoPE: n维位置嵌入的通用RoPE

    Rotary Position Embedding (RoPE) is widely adopted in Transformer models, yet its extension to high-dimensional domains lacks a unified theoretical formulation. Most existing approaches either apply rotations independently along each axis or empirically mix frequencies, which lim…

相关实体

相关话题