Régate

ReGATE方法通过选择性修剪Token来加速多模态LLM训练

研究人员开发了ReGATE，一种通过自适应修剪Token来加速多模态大型语言模型（MLLM）训练的新颖方法。该技术使用一种教师-学生框架，其中一个固定的教师模型指导学生在训练过程中识别和丢弃冗余Token。ReGATE已证明，在MVBench等基准测试中，其速度最高可达标准方法的两倍，同时显著减少了处理的Token数量，并能达到峰值准确率。