新框架解决多模态AI微调中的投影仪遗忘问题

研究人员推出了一种名为渐进式多模态对齐（PMA）的新框架，旨在解决多模态持续指令微调（MCIT）中出现的投影仪级别遗忘问题。当视觉分布发生变化且指令语义演变时，会发生此问题，导致对齐视觉表示与语言嵌入的投影仪性能下降。PMA旨在通过检测分布变化并选择性地扩展投影仪专家来实现投影仪的持续适应，同时保留先前获得的对齐能力。该框架使用可扩展路由器集成专家输出，并将原始预训练投影仪作为稳定锚点保留，提供了一种方法无关的附加组件，通过高效的参数增长来平衡稳定性和可塑性。 AI

影响 该框架通过解决持续学习中的一个关键挑战，有望提高多模态AI系统的性能和稳定性。

排序理由 该条目是一篇学术论文，详细介绍了一种用于改进多模态AI模型的新技术框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• CatalyzeX Code Finder for Papers
• CORE Recommender
• DagsHub
• Gotit.pub
• Hugging Face
• Ministry of Communication and Digital Affairs
• Multimodal Continual Instruction Tuning
• Multimodal Large Language Models
• Philippine Military Academy
• Progressive Multimodal Alignment
• ScienceCast

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →