Scene-R1

Scene-R1框架支持使用视频驱动的大型语言模型进行3D场景推理

研究人员推出Scene-R1，一个用于使用视频驱动的大型语言模型进行3D场景推理的新框架。该方法通过采用基于强化学习的推理过程，绕过了对预训练3D对象检测器和复杂点云骨干网络的需求。Scene-R1首先识别与查询相关的视频片段，然后预测一个2D边界框，该边界框被精炼为精确的3D定位。该框架支持开放式3D视觉问答，并利用轻量级2D监督进行训练，性能优于现有的开放词汇基线。