Latent-Space Navigation

新的SeeSE3方法揭示了视觉模型中三维空间的理解

研究人员开发了一种名为SeeSE3的新方法，以研究视觉基础模型是否固有地理解三维欧几里得空间。与专注于预测深度等三维属性的先前方法不同，SeeSE3分析了模型特征空间与欧几里得变换群之间的关系。研究发现，即使是没有经过明确三维监督训练的模型，在正确探测时也会表现出与三维空间高度相关的潜在子空间。这一发现使得直接在模型的潜在空间中进行视觉里程计和定位等任务的新型“潜在空间导航”技术成为可能。