研究人员开发了TOPS,一种用于剪枝多模态大语言模型(MLLM)中视觉令牌以提高效率的新颖方法。与依赖注意力分数或令牌相似性的先前方法不同,TOPS使用基于第一性原理的信息论框架,根据任务相关性、信息覆盖率和语义多样性来识别关键令牌。这个无需训练且模型无关的模块已经在各种MLLM中展示了显著的性能提升,特别是在LLaVA-NeXT上将视觉令牌减少了77%以上,同时保持甚至略微提高了性能。 AI
影响 这项研究为减少MLLM中的计算开销提供了一种有前景的方法,有望带来更高效、更易于访问的多模态AI应用。
排序理由 该集群描述了一篇详细介绍一种新颖方法以提高多模态大语言模型效率的研究论文。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →