CapQuiz

新的 CapQuiz 基准评估 VLLM 视频字幕质量

研究人员推出 CapQuiz，这是一个旨在评估视觉大语言模型 (VLLM) 生成的视频字幕质量的新基准。与依赖直接文本匹配的现有指标不同，CapQuiz 根据字幕回答源自视频内容的细粒度多项选择题的能力来评估字幕。这种方法旨在衡量信息的保真度，确保字幕准确涵盖重要的视觉细节。CapQuiz 已证明与人类判断的相关性比以前的方法更强，并提供了对模型在各种视频领域性能的更具可解释性的见解。