研究人员开发了SVD-Prune,一个旨在解决视觉语言模型(VLMs)和视觉语言动作(VLA)模型中计算瓶颈的新型框架。这种无需训练的方法利用奇异值分解(SVD)和统计杠杆分数来保留视觉表示的主导谱结构,而不是关注单个令牌的重要性。SVD-Prune可应用于多模态管道的各个阶段,并已证明在视觉令牌预算方面有显著削减,最高可达99.3%,同时在推理速度方面实现了大幅提升。 AI
影响 该方法可以显著降低视觉语言模型的计算成本并提高推理速度。
排序理由 该集群描述了一篇详细介绍AI模型优化新方法的最新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →