nD-RoPE

nD-RoPE 将 Transformer 位置嵌入推广到 n 维

研究人员推出了一种新颖的 nD-RoPE 方法，用于将旋转位置嵌入 (RoPE) 推广到 n 维空间。与先前独立处理维度的方​​法不同，nD-RoPE 将位置和频率构建为耦合的 n 维向量。这种从平移不变视角推导出的统一理论框架，能够实现更丰富的跨维度交互。在图像、视频和点云数据上的实验表明，nD-RoPE 在高维设置下始终能提高性能和泛化能力。