SLVMBench

新的SLVMBench基准测试揭示视频大语言模型在从长记忆中学习技能方面存在困难

研究人员推出了SLVMBench，这是一个新颖的基准测试，旨在评估视频大语言模型（video-LLMs）从扩展视频记忆中学习技能并在实时场景中应用它们的能力。该基准测试通过在数小时的不相关内容中嵌入教程视频来模拟人类学习，测试模型记忆、提取程序性知识并将其转移到正在进行的任务中的能力。初步评估表明，当前的视频大语言模型在这一过程中存在显著困难，特别是当所需知识嵌入在长视频上下文中时，这凸显了它们在技能获取和应用能力方面的一个关键限制。