Dongwu Qian

研究发现，视频大语言模型因读出失败而在事件计数方面遇到困难

研究人员发现视频大语言模型（LLMs）存在严重的读出失败问题，这阻碍了它们准确计数屏幕上物体经过等事件的能力。尽管模型拥有必要的信息，但它们在正确处理和输出信息方面存在困难。该研究提出了两种读出导向的修复方法：片段定位监督和离散事件符号侧通道，这使得在具有挑战性的基准测试中，同类物体计数性能从46.7%提高到65.0%。进一步的分析揭示了数据完整性问题，并强调虽然核心读取能力是存在的，但部署的输出头仍然是一个瓶颈。