RISE-VQA

新的RISE框架整合3D追踪和视觉-语言推理用于道路分析

研究人员推出RISE（Roadside Infrastructure Sequence Understanding and Evaluation），一个用于分析道路交通序列的新型框架。该框架整合了使用纯图像方法的度量3D追踪与结构化视觉-语言推理。追踪组件在不依赖LiDAR的情况下，在多视图身份关联上达到了66.9 MOTA，而视觉-语言推理管道生成了一个包含33,910个问答对的数据集，用于评估模型在语义选择、空间定位和未来定位等任务上的表现。