Implicit Geometry Tokens

新的VLM-IE3D框架提升了视觉语言模型中的3D空间理解能力

研究人员推出了一种新颖的VLM-IE3D框架，旨在增强视觉语言模型（VLMs）的3D空间感知能力。该框架集成了从RGB视频中提取的隐式和显式3D几何信息，无需额外的3D输入数据。VLM-IE3D利用隐式几何令牌（IGTs）来获取高级几何先验知识，并利用显式几何令牌（EGTs）来捕捉详细的几何结构，通过一个3D感知的适配器进行融合。实验表明，VLM-IE3D在视频检测、视觉定位、密集字幕和空间推理等多种3D任务中均表现出色。