引入了一个名为Video-HOCA的新诊断基准,用于评估视频大语言模型(Video-LLMs)的物理异常推理能力。该基准利用本体因果分类法,包含1400多个视频和3470多个经人工验证的问答对。对20个指令模式Video-LLMs的初步测试显示,虽然识别任务得分约为75-88%,但解释任务(任务II)的宏观F1得分大多低于50%,表明在识别异常和解释异常之间存在显著差距。 AI
影响 突出了当前Video-LLMs的一个关键局限性,表明需要改进超越简单识别的推理和解释能力。
排序理由 该集群描述了一篇介绍用于评估AI模型基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →