研究人员开发了新颖的方法来微调大型多模态模型（LMM），使其能够获得新技能而不会损害现有能力。通过分析输出令牌分布并识别“计数偏差”，他们发现仅选择性地更新自注意力投影层或MLP Gate&Up组件，可以显著减少先前学习任务上的性能损失。这些选择性微调方法在LLaVA-OneVision、LLaVA-NeXT和Qwen2.5-VL模型上进行了演示，在学习-稳定性权衡方面优于传统的全模型微调以及LwF、LoRA和WiSE-FT等其他遗忘缓解技术。 AI
影响 提供了更有效、更稳定的方法来使大型多模态模型适应新任务，而不会损害现有知识。
排序理由 该集群包含一篇详细介绍微调大型多模态模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Large Multimodal Models
- Learning without Forgetting
- LLaVA-NeXT
- LLaVA-onevision
- LoRA+
- mixture of experts
- MLP Gate&Up
- Qwen2.5-VL
- SA Proj.
- WISE-FTP
- Zhen Zhu
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
