Compatible Routing

新的CART方法增强了多模态LLM的持续学习能力

研究人员推出了一种名为兼容路由（CART）的新方法，用于大型语言模型的多模态持续指令微调（MCIT）。现有方法通常侧重于在持续更新投影仪的同时防止语言模型遗忘，这会导致表示漂移和遗忘加剧。CART通过任务特定的专家和加权混合来协调投影仪和语言模型的适应性。该系统基于专家相关性和跨模块兼容性联合推断权重，促进同步适应。此外，CART还纳入了相关性引导的专家合并，以合并具有相似相关性特征的专家，从而控制模型增长并获得实验中的最先进性能。