研究人员推出Quicksviewer,这是一种新颖的大型多模态模型(LMM),旨在实现更高效的视频理解。Quicksviewer采用独特的感知范式,使用Gumbel Softmax将视频划分为不同的立方体,然后对每个立方体进行统一的重采样。该方法通过根据帧差动态在线压缩视频内容,实现了显著的45倍压缩率,从而降低了时空复杂度,并能够使用大的感受野进行高效训练。与具有相似参数的当代LMM相比,该模型表现出更低的训练损失和更高的基准准确性,展示了卓越的性能。 AI
影响 引入了一种新颖的LMM压缩技术,有望降低视频处理任务的计算成本和延迟。
排序理由 详细介绍新模型架构和方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →