SVD-Prune

SVD-Prune框架大幅削减AI模型中的视觉令牌

研究人员开发了SVD-Prune，一个旨在解决视觉语言模型（VLMs）和视觉语言动作（VLA）模型中计算瓶颈的新型框架。这种无需训练的方法利用奇异值分解（SVD）和统计杠杆分数来保留视觉表示的主导谱结构，而不是关注单个令牌的重要性。SVD-Prune可应用于多模态管道的各个阶段，并已证明在视觉令牌预算方面有显著削减，最高可达99.3%，同时在推理速度方面实现了大幅提升。