BtsPruner

新方法剪枝 LVLM 中的视觉令牌以提高效率

研究人员开发了新的方法来剪枝大型视觉语言模型（LVLM）中的视觉令牌，在不显著损失性能的情况下显著降低了计算成本。第一种方法 BtsPruner 在视觉编码过程中识别令牌角色，并有选择地保留互补的局部和全局信息。第二种方法 RI-Prune 专门针对多图像 LVLM，通过使用关系和信息感知，超越了在多图像场景中被证明无效的基于注意力的显著性。这两种技术都展示了在各种 LVLM 架构中提高效率和保留性能。