Multimodal Continual Instruction Tuning

新框架提升多模态大语言模型调优效率

研究人员推出了两个新框架，以改进大语言模型的多模态指令调优。SAME框架通过稳定专家选择和规范专家更新来解决持续学习中的“路由器漂移”和“专家漂移”问题。同时，OFA框架提供了一种可重用的数据选择方法，只需训练一次选择器即可将其应用于各种数据集和模型，通过仅选择一小部分数据即可显著提高训练效率，同时保持高性能。此外，Prism基础设施提供了一个插件系统，以简化多模态持续指令调优的研发，将算法开发与基础模型实现分离，以增强代码重用和公平比较。