研究人员开发了ReGATE，一种通过自适应修剪Token来加速多模态大型语言模型（MLLM）训练的新颖方法。该技术使用一种教师-学生框架，其中一个固定的教师模型指导学生在训练过程中识别和丢弃冗余Token。ReGATE已证明，在MVBench等基准测试中，其速度最高可达标准方法的两倍，同时显著减少了处理的Token数量，并能达到峰值准确率。 AI
影响 通过减少Token使用量来加速MLLM训练，可能降低计算成本并缩短研究周期。
排序理由 详细介绍多模态大型语言模型训练新方法的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2507.21420v3 Announce Type: replace-cross Abstract: The computational cost of training multimodal large language models (MLLMs) grows rapidly with the number of processed tokens. Existing efficiency methods mainly target inference via token reduction or merging, offering li…