VideoLLMs

新基准NeMo挑战视频LLM的时序理解能力

研究人员推出了一种名为NeMoBench的新型任务和基准，旨在评估视频大语言模型（VideoLLMs）的时序理解能力。该任务借鉴了“大海捞针”测试，专注于检索式长上下文回忆和时序定位。NeMoBench包含31,000多个问答对，来源于数千个视频，并采用可扩展的自动化流程确保其持续更新。对20个最先进模型的实验揭示了它们在时序理解方面的当前优势和劣势。