MonoLaDN

新框架以零成本集成了视觉语言模型推理到3D目标检测中

研究人员开发了MonoLaDN，一个新颖的单目3D目标检测框架，它利用视觉语言模型（VLMs）的几何推理能力，而无需增加推理成本。在训练过程中，一个冻结的VLM提供关于物体属性（如深度和遮挡）的结构化推理，然后将其编码到查询中，进行扰动，并用于训练检测器以重建清晰的推理。这个过程将基于视觉的检测器赋予VLM的几何先验知识，从而在KITTI 3D和nuScenes等基准测试中提高了性能。