ST-SimDiff

新的ST-SimDiff框架提高了MLLM视频处理效率

研究人员开发了ST-SimDiff，一个旨在提高多模态大语言模型（MLLM）处理长视频效率的新框架。该方法通过关注视频内容的静态冗余和动态变化来解决计算负担。ST-SimDiff利用时空图来建模token关联，采用双重选择策略，识别代表静态信息的token和代表动态内容的转折点。实验表明，该方法在显著降低计算成本的同时，性能远超现有方法。