ZhiYan Hou

新的PASs-MoE方法改进了LLM的持续学习能力

研究人员开发了一种名为PASs-MoE的新方法，以改进多模态大型语言模型（MLLM）的持续学习能力。该技术解决了“错误对齐共漂移”问题，即模型的路由器和专家偏离其专业任务，导致遗忘。PASs-MoE利用路径激活子空间来指导路由并稳定重要的秩方向，在不增加模型参数的情况下提高准确性并减少遗忘。在持续指令调优基准上的实验表明，与现有方法相比，其性能更优。