MoD-VLLM

新型视频大模型框架提升长视频理解能力

研究人员推出 MoD-VLLM，一个新颖的框架，旨在通过解决有限视觉令牌预算的挑战来改进长视频的理解。该模块化视频大模型框架通过迭代和自我反思的方式统一时间定位和语义理解。它包含一个正负视频片段定位模块和一个模块化动态粒度反思模块，该模块动态分配容量以详细感知相关片段，并为不相关片段保持全局上下文。该框架还采用了一种动态粒度强化学习策略和一个用于复杂长视频推理的新基准 MEventBench。