Tinghao Wang

MiCo方法通过减少视觉标记来优化MLLM推理

研究人员开发了MiCo，一种新颖的无需训练的方法，通过减少处理的视觉标记数量来优化多模态大语言模型（MLLM）的推理。MiCo采用两阶段剪枝方法，基于语义擦除建模和任务感知子集选择来选择代表性的视觉标记。该方法在各种MLLM和基准测试中始终优于现有技术，在保持高性能的同时显著提高了推理速度。例如，MiCo将LLaVA-NEXT-13B的视觉标记减少到5.6%，实现了3.8倍的加速，而性能仅下降2.5%。