VideoMemBench

新的VideoMemBench基准揭示多模态大语言模型在上下文视频记忆方面存在困难

一个名为VideoMemBench的新基准已被开发出来，用于评估多模态大语言模型（MLLMs）的上下文视频记忆能力。该基准评估模型从视频对话早期回忆信息的能力，包括视觉内容和模型自身先前的陈述。目前的多模态大语言模型在该领域表现出显著的性能差距，即使是像Claude Opus-5这样的顶级模型在该基准上的得分也仅为45.7%，这表明在开发强大的视频记忆能力方面存在重大挑战。