Yu Wu

RayRoPE 引入用于多视图 3D 注意力的投影位置编码

研究人员开发了 RayRoPE，这是一种专为 3D 计算机图形学中的多视图 Transformer 设计的新型位置编码方法。这种新方法独特地编码图像块，实现 SE(3) 不变注意力，并通过预测 token 深度来适应底层 3D 场景几何。RayRoPE 在新视图合成和立体深度估计等任务中展现出了一致的改进，在 RE10K 数据集上 LPIPS 相对提高了 24%。