HD-EPIC VQA

主观场景图谱赋能多模态大语言模型推理长视频

研究人员开发了一个新框架，使多模态大语言模型（MLLMs）能够推理长篇主观视频，克服了令牌限制。该方法利用主观场景图谱（EgoSGs），这是一种时间锚定、结构化的对象、属性、空间关系和交互的表示。通过将视频转换为这些紧凑的、符号化的场景图谱，该方法显著减少了输入长度，同时保留了重要的语义和时间信息，使MLLMs能够在其上下文窗口内处理整个视频序列。该技术在HD-EPIC VQA基准测试中取得了最先进的成果，优于现有的基于视频的基线。