Shaoyang Cui

新的VidNum-1.4K基准揭示VLM在视频数值推理方面存在困难

研究人员推出了VidNum-1.4K，这是一个旨在利用视频数据测试视觉语言模型（VLM）数值推理能力的新基准。该基准包含1,379个视频-问题对，需要基于时间证据的多步数值逻辑、算术运算和比较。评估显示，包括Gemini-3.1 Pro在内的当前最先进的VLM在此任务上表现困难，突显了它们在为视频理解开发强大的内部世界模型方面存在重大差距。