研究人员推出TempCloze,这是一个旨在评估视频大模型(Video-LLMs)时间推理能力的新基准。该基准通过向模型展示视频的开头和结尾,并要求它们从四个选项中识别出正确的缺失中间片段,来缓解语言捷径问题。对各种专有和开源视频大模型的初步评估表明,时间对齐是当前模型面临的一个重大挑战。 AI
影响 该基准有望推动视频大模型在时间推理能力方面的改进,这对于需要理解连续事件的应用至关重要。
排序理由 该集群包含一篇介绍新AI模型评估基准的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →