Multimodal Continual Instruction Tuning
PulseAugur coverage of Multimodal Continual Instruction Tuning — every cluster mentioning Multimodal Continual Instruction Tuning across labs, papers, and developer communities, ranked by signal.
-
新的CART方法增强了多模态LLM的持续学习能力
研究人员推出了一种名为兼容路由（CART）的新方法，用于大型语言模型的多模态持续指令微调（MCIT）。现有方法通常侧重于在持续更新投影仪的同时防止语言模型遗忘，这会导致表示漂移和遗忘加剧。CART通过任务特定的专家和加权混合来协调投影仪和语言模型的适应性。该系统基于专家相关性和跨模块兼容性联合推断权重，促进同步适应。此外，CART还纳入了相关性引导的专家合并，以合并具有相似相关性特征的专家，从而控制模型增长并获得实验中的最先进性能。
-
新研究探索用于 LLM 适应的定向迁移和知识重用
研究人员开发了改进语言模型适应性的新方法。一篇论文介绍了一种“迁移图”，用于预测源任务如何影响目标任务，表明帮助性可能是非对称的，并且仔细的任务选择可以显著提高 Qwen3 和 Mistral 等模型的性能。另一种方法 ReCAP 专注于多模态持续指令调优，通过使用检索引导框架来利用外部知识进行能力重用，旨在增强新技能的获取同时保留 LLM 中的现有知识。
-
Hyper-LLaVA 引入双曲路由用于多模态指令微调
研究人员推出了一种新颖的多模态持续指令微调（MCIT）方法 Hyper-LLaVA，该方法增强了用于处理多样化多模态输入的参数路由。该方法通过使用双曲空间改善了模态内任务匹配，并通过量化模态间歧义来实现自适应平衡，从而解决了现有技术中的局限性。该方法旨在防止不可靠的模态误导路由结果，并且在性能上优于当前最先进的方法。
-
新框架解决多模态AI微调中的投影仪遗忘问题
研究人员推出了一种名为渐进式多模态对齐（PMA）的新框架，旨在解决多模态持续指令微调（MCIT）中出现的投影仪级别遗忘问题。当视觉分布发生变化且指令语义演变时，会发生此问题，导致对齐视觉表示与语言嵌入的投影仪性能下降。PMA旨在通过检测分布变化并选择性地扩展投影仪专家来实现投影仪的持续适应，同时保留先前获得的对齐能力。该框架使用可扩展路由器集成专家输出，并将原始预训练投影仪作为稳定锚点保留，提供了一种方法无关的附加组件，通过高效的参数…
-
SiGMA框架通过减少知识干扰来增强多模态LLM调优
研究人员推出了一种新颖的框架SiGMA，旨在改进多模态大型语言模型（MLLMs）的多模态持续指令调优（MCIT）。SiGMA旨在减少训练和推理过程中的负面干扰，这是一种常见问题，即新任务的学习会降低先前学习任务的性能。该框架采用符号引导的自适应调优来最小化知识漂移，并采用符号引导的合并来选择性地放大关键任务特定知识。在UCIT和DCL等基准上的实验表明，SiGMA在缓解干扰和优于现有MCIT方法方面是有效的。
-
新框架提升多模态大语言模型调优效率
研究人员推出了两个新框架，以改进大语言模型的多模态指令调优。SAME框架通过稳定专家选择和规范专家更新来解决持续学习中的“路由器漂移”和“专家漂移”问题。同时，OFA框架提供了一种可重用的数据选择方法，只需训练一次选择器即可将其应用于各种数据集和模型，通过仅选择一小部分数据即可显著提高训练效率，同时保持高性能。此外，Prism基础设施提供了一个插件系统，以简化多模态持续指令调优的研发，将算法开发与基础模型实现分离，以增强代码重用和公平比较。