EcoFrame

新框架提升AI长视频理解效率

研究人员开发了两个新框架EcoFrame和EviSelect，旨在提高大型语言模型处理长视频理解的效率。EcoFrame采用一种无需训练的方法，根据模型的输出不确定性和注意力模式来调整帧选择过程，实现了显著的加速，并且准确性与现有方法相当。EviSelect则采用一种基于目标模型内部注意力的动态视觉选择方法，通过自适应地调整采样率和空间分辨率，同时优化准确性和效率。