Multimodal Continual Instruction Tuning
PulseAugur coverage of Multimodal Continual Instruction Tuning — every cluster mentioning Multimodal Continual Instruction Tuning across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新框架解决多模态AI微调中的投影仪遗忘问题
研究人员推出了一种名为渐进式多模态对齐（PMA）的新框架，旨在解决多模态持续指令微调（MCIT）中出现的投影仪级别遗忘问题。当视觉分布发生变化且指令语义演变时，会发生此问题，导致对齐视觉表示与语言嵌入的投影仪性能下降。PMA旨在通过检测分布变化并选择性地扩展投影仪专家来实现投影仪的持续适应，同时保留先前获得的对齐能力。该框架使用可扩展路由器集成专家输出，并将原始预训练投影仪作为稳定锚点保留，提供了一种方法无关的附加组件，通过高效的参数…
-
SiGMA框架通过减少知识干扰来增强多模态LLM调优
研究人员推出了一种新颖的框架SiGMA，旨在改进多模态大型语言模型（MLLMs）的多模态持续指令调优（MCIT）。SiGMA旨在减少训练和推理过程中的负面干扰，这是一种常见问题，即新任务的学习会降低先前学习任务的性能。该框架采用符号引导的自适应调优来最小化知识漂移，并采用符号引导的合并来选择性地放大关键任务特定知识。在UCIT和DCL等基准上的实验表明，SiGMA在缓解干扰和优于现有MCIT方法方面是有效的。
-
新框架提升多模态大语言模型调优效率
研究人员推出了两个新框架，以改进大语言模型的多模态指令调优。SAME框架通过稳定专家选择和规范专家更新来解决持续学习中的“路由器漂移”和“专家漂移”问题。同时，OFA框架提供了一种可重用的数据选择方法，只需训练一次选择器即可将其应用于各种数据集和模型，通过仅选择一小部分数据即可显著提高训练效率，同时保持高性能。此外，Prism基础设施提供了一个插件系统，以简化多模态持续指令调优的研发，将算法开发与基础模型实现分离，以增强代码重用和公平比较。