VisCo框架使用LLM进行高效视觉令牌压缩

研究人员推出VisCo，一个新颖的框架，旨在通过利用视觉语言模型（VLM）本身作为内在编码器来压缩VLM中的视觉令牌。这种自压缩方法重用了预训练的VLM能力，以减少推理延迟和内存开销，而无需广泛的再训练或外部模块。实验表明，VisCo在各种压缩率下均取得了卓越的性能，甚至在极端压缩级别上超越了先前的方法，并显示出通过捕获互补表示来增强基础模型的潜力。 AI

影响 该方法可以显著降低部署视觉语言模型的计算成本，使其更易于访问和更高效。

排序理由 该条目是一篇研究论文，详细介绍了一种用于视觉语言模型中视觉令牌压缩的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• large-language models
• ScienceCast
• VisCo
• vision-language model
• Vision--Language Models

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →