研究人员推出STRIDE,这是一个新的基准,旨在评估视觉语言模型(VLMs)在复杂且安全关键的自动驾驶场景中的时空推理能力。该基准侧重于需要理解物体交互和预测未来运动的边缘案例,超越了基本的感知任务。STRIDE包含六个任务家族,将选择题与自由形式的VQA配对,以评估推理和解释能力。初步评估显示,即使是像GPT-6-Astra这样的先进模型也表现不佳,准确率仅为43.4%,凸显了在重建物体运动和做出安全关键判断方面存在显著局限性。 AI
影响 强调了自动驾驶AI在时空推理方面的关键缺陷,表明当前模型尚未准备好应对复杂的边缘案例。
排序理由 该集群描述了一篇介绍用于评估AI模型的新基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →