研究人员推出了SLVMBench,这是一个新颖的基准测试,旨在评估视频大语言模型(video-LLMs)从扩展视频记忆中学习技能并在实时场景中应用它们的能力。该基准测试通过在数小时的不相关内容中嵌入教程视频来模拟人类学习,测试模型记忆、提取程序性知识并将其转移到正在进行的任务中的能力。初步评估表明,当前的视频大语言模型在这一过程中存在显著困难,特别是当所需知识嵌入在长视频上下文中时,这凸显了它们在技能获取和应用能力方面的一个关键限制。 AI
影响 突出了当前视频大语言模型从扩展上下文中学习和应用技能的能力存在重大局限性,可能指导未来在长上下文理解方面的研究。
排序理由 该集群描述了一篇新发布的arXiv基准测试论文。
- alphaXiv
- arXiv
- CatalyzeX Code Finder for Papers
- CORE Recommender
- DagsHub
- Gotit.pub
- Hugging Face
- ScienceCast
- Skill Learning from Video Memory
- SLVMBench
- Video Large Language Models
- Video LLMs
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →