camera poses

SpatialSV框架通过可解释的视觉监督增强MLLMs的3D空间感知能力

研究人员推出SpatialSV，一个旨在增强多模态大语言模型（MLLMs）3D空间感知能力的新框架。与依赖外部工具或不透明特征蒸馏的现有方法不同，SpatialSV将此能力直接内化到模型中。它通过面向任务的视觉监督来实现这一点，指导MLLMs将2D视觉特征转换为显式的3D表示，如深度图、相机姿态和点云。此过程不仅提高了空间智能，还通过可视化和诊断模型内部空间知识提供了可解释性。