Jaeyeon Lee

新的SPARE方法以最小的性能损失剪枝94%的VLM视觉令牌

研究人员开发了SPARE，一种用于剪枝视觉语言模型（VLMs）中视觉令牌以提高效率的新颖方法。与之前以多样性为中心的方法不同，SPARE将令牌缩减重新构建为子空间重建问题，通过选择具有大投影残差的令牌来最小化重建误差。该方法还包含一个“反相关性”标准，优先选择与图像-文本相关性较低的令牌，以更好地保留上下文信息。SPARE应用于LLaVA，可以在不进行训练的情况下移除高达94%的视觉令牌，且性能损失极小。