Jen-Hao Rick Chang

Apple 发布 RayRoPE 用于多视图 Transformer 位置编码

Apple Machine Learning Research 推出了 RayRoPE，一种专为多视图 Transformer 设计的新型位置编码方法。这种新方法独特地编码图像块，实现 SE(3)-不变注意力，并适应场景几何。RayRoPE 使用相关的射线及其上的预测点来表示图像块位置，从而实现几何感知编码。它在新视图合成和立体深度估计等任务上展示了显著的改进，性能优于现有的位置编码方案。