G-ray

新的G-ray编码在异构相机下改进了多视图视觉Transformer

研究人员开发了G-ray，一种新颖的射线级相对几何位置编码，专为多视图视觉Transformer设计。该方法通过使用相机局部射线角度参数化旋转相位来解决相机异构性带来的挑战，例如视场角或投影模型的变化。G-ray确保了投影不变的位置一致性，并且可以在不增加额外学习参数的情况下与现有编码集成。在3D重建和新视角合成基准上的评估显示出显著的改进，包括在异构3D重建任务上平均点图相对误差降低了45.8%。