Video-HOCA

Video-HOCA基准揭示视频大语言模型在异常解释方面存在困难

引入了一个名为Video-HOCA的新诊断基准，用于评估视频大语言模型（Video-LLMs）的物理异常推理能力。该基准利用本体因果分类法，包含1400多个视频和3470多个经人工验证的问答对。对20个指令模式Video-LLMs的初步测试显示，虽然识别任务得分约为75-88%，但解释任务（任务II）的宏观F1得分大多低于50%，表明在识别异常和解释异常之间存在显著差距。