Jingfeng Chen

LDDR框架优化多模态大语言模型的视频帧采样

研究人员推出了一种新颖的框架LDDR，用于从视频中采样帧以优化多模态大语言模型（MLLMs）的输入。LDDR采用查询感知的行列式点过程（DPP）来高效选择帧，比标准DPP方法快3倍。该框架还包含一个组DPP重要性得分，用于动态分配token预算，优先考虑信息量大的帧并缩减不太相关的帧。LDDR在视频基准测试中已显示出显著的收益，在低预算设置下性能提高高达2.5个点，在高预算场景下提高1.6个点，覆盖了各种MLLM家族。