BEV3SR

新的BEV3SR框架增强了视觉语言模型中的3D空间推理能力

研究人员推出了一种新颖的框架BEV3SR，旨在增强视觉语言模型（VLMs）在处理视频数据时的3D空间推理能力。该框架无需训练且不依赖特定骨干网络，可将序列视频观测转换为可查询的、度量的鸟瞰图（BEV）场景记忆。BEV3SR将查询形式化为证据感知的空间任务，利用几何推理器进行确定性计算，或利用视觉证据对齐器进行VLM与相关视觉线索的对齐。该框架在3D场景问答基准测试中，对各种VLMs在空间复杂问题上展现出了一致的改进。