研究人员推出了一种名为NeMoBench的新型任务和基准,旨在评估视频大语言模型(VideoLLMs)的时序理解能力。该任务借鉴了“大海捞针”测试,专注于检索式长上下文回忆和时序定位。NeMoBench包含31,000多个问答对,来源于数千个视频,并采用可扩展的自动化流程确保其持续更新。对20个最先进模型的实验揭示了它们在时序理解方面的当前优势和劣势。 AI
影响 引入了一个新的基准,以推动视频大语言模型在时序理解方面的能力。
排序理由 该集群描述了一篇介绍用于评估AI模型的新颖基准和任务的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- NeMo
- NeMoBench
- ScienceCast
- VideoLLMs
- Zi-Yuan Hu
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →