3D reconstruction models

新的GAP-MLLM预训练增强了LLM的3D空间感知能力

研究人员推出了一种新颖的预训练范式GAP-MLLM，旨在增强多模态大语言模型（MLLMs）的3D空间感知能力。目前的MLLMs在语义推理方面表现出色，但在仅依赖RGB输入时，在3D空间理解方面存在不足。GAP-MLLM旨在通过在下游任务之前显式激活几何表示来弥合这一差距，采用一种联合任务，该任务与语义标签一起预测稀疏点图。这种方法在3D视觉基础、3D密集字幕和3D视频对象检测等任务中显示出显著的改进。