Projector Is All You Train

面向多模态大语言模型的新训练方法，仅聚焦于投影仪

研究人员开发了一种名为“Projector Is All You Train”的多模态大语言模型（MLLMs）新训练方法。该方法仅训练连接语言模型主干和特定模态编码器的投影仪组件，而不是对整个主干进行微调。在3D MLLMs上的实验表明，这种仅训练投影仪的方法可以实现强大的多模态性能，避免损害现有的语言模型能力，并且与联合训练方法相比，训练样本吞吐量大约提高一倍。研究结果在各种语言模型主干以及3D分类、字幕生成和推理基准测试中得到了验证。