CoverPruner

新的CoverPruner方法优化了视觉语言模型中的视觉标记修剪

研究人员推出了一种新颖的视觉标记修剪优化方法CoverPruner，用于视觉语言模型（VLMs）。与现有关注选择要保留的标记的方法不同，CoverPruner解决了确保剩余标记充分代表被移除标记的互补问题。通过将修剪表述为表征覆盖最大化（RCM），CoverPruner旨在用查询加权的（query-weighted）需求覆盖全部投影的视觉标记集。该方法在各种VLM架构和压缩率下，尤其是在激进压缩场景下，都展现出了卓越的准确性。