SamuelBang/LeRF-4B

新的LeRF框架增强了视觉语言模型的视角能力

研究人员推出了一种名为LeRF的新型框架，旨在增强视觉语言模型（VLMs）的视角能力。LeRF使VLMs能够构建和利用显式的参考系来进行依赖于视点的推理，解决了它们普遍倾向于默认使用相机视角的缺点。该系统选择性地预测和锚定参考系，然后将其渲染到图像上，以辅助后续推理，而无需外部感知模型或3D重建。在各种视角推理基准上的评估表明，LeRF在提高空间智能和从不同视角进行推理方面是有效的。