PulseAugur
实时 10:11:22
English(EN) Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere

两种新方法解决视频LLM令牌压缩以提高效率

两篇新的研究论文提出了用于压缩视频大型语言模型(Video-LLM)中视频令牌的新颖方法,以提高效率。第一篇论文介绍了NovaCov,这是一种为流媒体视频设计的集合式令牌压缩器,它使用历史参考库和双分支子模覆盖目标来保留代表性内容,同时将LLM预填充延迟降低46%。第二篇论文提出了ONCE,一个离线学习频率感知全局码本的框架,并将其用于轻量级在线压缩,显著降低了每视频的计算量和推理延迟。 AI

影响 这些方法旨在降低Video-LLM的推理延迟和计算成本,从而可能实现更广泛的应用和更高效的视频内容处理。

排序理由 两篇在arXiv上发表的学术论文,介绍了Video-LLM中视频令牌压缩的新颖方法。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

两种新方法解决视频LLM令牌压缩以提高效率

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Moxu Duan, Jingwen Fu, Yuwang Wang ·

    Think in Sets for Streaming Video Token Compression

    arXiv:2608.01169v1 Announce Type: new Abstract: Streaming VideoLLMs process frames causally while visual tokens grow continuously, making compression essential for controlling prefilling latency and memory. Existing training-free methods independently rank tokens, ignoring margin…

  2. arXiv cs.CV TIER_1 English(EN) · Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song ·

    Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere

    arXiv:2608.01271v1 Announce Type: new Abstract: Video large language models (Video-LLMs) represent videos as dense sequences of visual tokens, whose length grows with the temporal and spatial extent of the input. These tokens often contain substantial redundancy arising from repe…