SiGMA框架通过减少知识干扰来增强多模态LLM调优

研究人员推出了一种新颖的框架SiGMA，旨在改进多模态大型语言模型（MLLMs）的多模态持续指令调优（MCIT）。SiGMA旨在减少训练和推理过程中的负面干扰，这是一种常见问题，即新任务的学习会降低先前学习任务的性能。该框架采用符号引导的自适应调优来最小化知识漂移，并采用符号引导的合并来选择性地放大关键任务特定知识。在UCIT和DCL等基准上的实验表明，SiGMA在缓解干扰和优于现有MCIT方法方面是有效的。 AI

影响 这项研究可能带来更强大、更适应性的多模态人工智能系统，这些系统能够在各种任务中保留知识。

排序理由 该集群包含一篇学术论文，详细介绍了一种新的多模态持续指令调优方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• arXiv
• Dual Convergent Lines
• mixture of experts
• Multimodal Continual Instruction Tuning
• Multimodal Large Language Models
• SiGMA

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →