TUM-VIE

新方法可在无标签情况下实现跨模态特征匹配

研究人员开发了一种新颖的两阶段训练范式，用于匹配事件数据和图像数据之间的特征，解决了现有方法需要匹配标签或严格对齐硬件的局限性。第一阶段使用大规模数据进行无标签蒸馏，采用基于分布和对比损失来学习可泛化的表示。第二阶段引入了一个由极线引导的自蒸馏框架，利用一致性验证和几何置信度在目标域上实现无监督的自我演化。该方法在MVSEC和TUM-VIE基准的姿态估计任务上取得了最先进的性能。