TransPrune

新的TOPS方法剪枝视觉令牌以实现高效的MLLM推理

研究人员开发了TOPS，一种用于剪枝多模态大语言模型（MLLM）中视觉令牌以提高效率的新颖方法。与依赖注意力分数或令牌相似性的先前方法不同，TOPS使用基于第一性原理的信息论框架，根据任务相关性、信息覆盖率和语义多样性来识别关键令牌。这个无需训练且模型无关的模块已经在各种MLLM中展示了显著的性能提升，特别是在LLaVA-NeXT上将视觉令牌减少了77%以上，同时保持甚至略微提高了性能。