NovaCov

两种新方法解决视频LLM令牌压缩以提高效率

两篇新的研究论文提出了用于压缩视频大型语言模型（Video-LLM）中视频令牌的新颖方法，以提高效率。第一篇论文介绍了NovaCov，这是一种为流媒体视频设计的集合式令牌压缩器，它使用历史参考库和双分支子模覆盖目标来保留代表性内容，同时将LLM预填充延迟降低46%。第二篇论文提出了ONCE，一个离线学习频率感知全局码本的框架，并将其用于轻量级在线压缩，显著降低了每视频的计算量和推理延迟。