研究人员开发了 Fre-Res，一个新颖的视频 token 压缩框架，旨在提高视频多模态大语言模型 (MLLMs) 的效率。该方法通过将高保真空间锚点与密集的时间信息分离，解决了平衡空间细节和时间覆盖的挑战。Fre-Res 在帧间残差轨迹上使用时间一维 DCT 来紧凑地捕捉时间动态，而空间引导吸收器将此残差信息整合回空间锚点 token 中。该框架在视频推理基准测试中展示了有利的准确性-效率权衡，在保持性能的同时显著缩短了视觉 token 的长度。 AI
影响 该框架可能使 MLLMs 能够更有效地处理视频数据，从而在视频理解和生成领域带来更广泛的应用。
排序理由 这是一篇详细介绍视频 token 压缩新技术框架的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
