GMM-EVA

新的GMM-EVA框架提高了长视频理解中LVLM的效率

研究人员推出了一种新颖的GMM-EVA框架，旨在提高大型视觉语言模型（LVLM）在理解长视频方面的效率和效果。与现有均匀采样帧的方法不同，GMM-EVA利用高斯混合模型来识别和分割视频中的事件。这允许采用差异化的分配策略，为主要事件细节保留高分辨率关键帧，同时使用较低分辨率帧来提供时间上下文，从而优化令牌使用。该框架无需训练且即插即用，在各种长视频基准测试中，与均匀采样相比，性能显著提高，并且在令牌预算大约减半的情况下取得了可比的结果。