OmniTraffic

新的 OmniTraffic 基准揭示了 AI 交通推理的巨大差距

研究人员推出 OmniTraffic，一个旨在改善交通场景时空推理的新管线和基准。该系统利用 3D 重建环境和真实世界的监控录像，生成了大量专注于交通感知、多视角和时间推理的问答样本数据集。在 OmniTraffic 上对当前大型多模态模型 (LMMs) 的评估显示，在拓扑相关和时空任务方面，人类和模型的表现之间存在显著差距。研究还表明，在模拟 OmniTraffic 数据上微调 LMMs 可以提高它们在真实交通场景中的表现。