Anna-Maria Halacheva

新的 P3-VLM 模型通过基于点的地面化来解决三维视觉语言任务

研究人员发现三维视觉语言模型（VLM）中存在一个显著问题，即常用的边界框（bounding box）作为空间提示会产生“语义泄露”，使模型能够在未完全处理视觉数据的情况下表现良好。为解决此问题，他们提出了一种基于点的地面化方法，并引入了 P$^3$-VLM，这是一种新颖的三通路 VLM，旨在处理单个三维点而非边界框。这种新方法在位置地面化字幕生成方面取得了最先进的准确性，并提高了整体的视觉空间推理能力。