MLP Gate&Up

新的微调方法教会大型多模态模型新技能且不遗忘

研究人员开发了新颖的方法来微调大型多模态模型（LMM），使其能够获得新技能而不会损害现有能力。通过分析输出令牌分布并识别“计数偏差”，他们发现仅选择性地更新自注意力投影层或MLP Gate&Up组件，可以显著减少先前学习任务上的性能损失。这些选择性微调方法在LLaVA-OneVision、LLaVA-NeXT和Qwen2.5-VL模型上进行了演示，在学习-稳定性权衡方面优于传统的全模型微调以及LwF、LoRA和WiSE-FT等其他遗忘缓解技术。