研究人员开发了SPARE，一种用于剪枝视觉语言模型（VLMs）中视觉令牌以提高效率的新颖方法。与之前以多样性为中心的方法不同，SPARE将令牌缩减重新构建为子空间重建问题，通过选择具有大投影残差的令牌来最小化重建误差。该方法还包含一个“反相关性”标准，优先选择与图像-文本相关性较低的令牌，以更好地保留上下文信息。SPARE应用于LLaVA，可以在不进行训练的情况下移除高达94%的视觉令牌，且性能损失极小。 AI
影响 该方法可以显著降低VLMs的计算成本，从而实现更广泛的部署和更快的推理。
排序理由 该集群包含一篇详细介绍提高VLM效率的新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
