研究人员开发了LearnPrunerV2,一种用于视觉语言模型(VLMs)中渐进式剪枝Token的新方法,以降低计算开销。这种新方法将可学习模块集成到VLMs的每一层,通过结合视觉显著性和查询相关性来评估Token的重要性。LearnPrunerV2还引入了一种预算确定性剪枝策略,用于实现每层硬件友好的固定预算。实验表明,LearnPrunerV2在LLaVA-v1.5上显著优于现有方法,在剪枝77.8%的视觉Token的同时,达到了原始性能的99.8%。 AI
影响 通过实现显著的Token减少而没有实质性的性能损失,提高了视觉语言模型的效率。
排序理由 该集群描述了在arXiv上发布的一种用于改进视觉语言模型的新方法,属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Budget-Deterministic Pruning
- Hugging Face
- LearnPruner
- LearnPrunerV2
- LLaVA-v1.5
- Rinyoichi Takezoe
- vision-language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →