Zihui Gao

新的SAGE框架利用互联网视频监督适应3D模型

研究人员开发了SAGE框架，该框架旨在利用互联网视频中的弱监督数据来适应3D几何基础模型。这种方法通过利用丰富多样的视频流来解决标注3D数据的稀缺性问题。SAGE采用了一个流程，该流程选择信息丰富的轨迹，使用稀疏几何锚点进行结构指导，并应用密集可微分一致性来施加多视图约束。该框架在7Scenes、TUM-RGBD和Matterport3D等基准测试中，将Chamfer Distance降低了20-42%，并提高了VGGT性能，展示了显著的改进。