Cram

新方法增强多模态LLM的持续学习能力

研究人员正在开发新的多模态持续指令调优方法，以提高大型语言模型的效率和性能。一种名为CRAM的方法使用质心路由和自适应专家混合（MoE）来隔离特定任务的模式并有效分配参数，从而缓解灾难性遗忘。另一种方法ProtoAda采用原型引导的自适应调优，并结合了面向格式的任务原型来改进路由和参数整合。此外，一个名为PROXY-MIX的框架在一个小型代理模型上学习一个动态重放控制器，并将其转移到更大的模型上，以在持续调优过程中保留能力和对齐行为。