Visco

VisCo框架使用LLM进行高效视觉令牌压缩

研究人员推出VisCo，一个新颖的框架，旨在通过利用视觉语言模型（VLM）本身作为内在编码器来压缩VLM中的视觉令牌。这种自压缩方法重用了预训练的VLM能力，以减少推理延迟和内存开销，而无需广泛的再训练或外部模块。实验表明，VisCo在各种压缩率下均取得了卓越的性能，甚至在极端压缩级别上超越了先前的方法，并显示出通过捕获互补表示来增强基础模型的潜力。