AdaVSkip

AdaVSkip 方法通过跳过视觉标记来提高 MLLM 推理效率

研究人员开发了 AdaVSkip，一种提高多模态大语言模型 (MLLM) 推理效率的新方法。该技术跨 transformer 层自适应地跳过视觉标记，在不显著影响性能的情况下降低计算负载。AdaVSkip 在每层中使用轻量级路由器来决定标记是应被处理还是跳过，从而创建特定于输入的计算路径。一个两阶段的训练框架，结合了监督学习和强化学习，优化了这些路由决策，以获得更好的任务性能和计算效率。