PulseAugur
中
实时 01:33:42
English(EN) PASs-MoE: Mitigating Misaligned Co-drift among Router and Experts via Pathway Activation Subspaces for Continual Learning

新的PASs-MoE方法改进了LLM的持续学习能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为PASs-MoE的新方法，以改进多模态大型语言模型（MLLM）的持续学习能力。该技术解决了“错误对齐共漂移”问题，即模型的路由器和专家偏离其专业任务，导致遗忘。PASs-MoE利用路径激活子空间来指导路由并稳定重要的秩方向，在不增加模型参数的情况下提高准确性并减少遗忘。在持续指令调优基准上的实验表明，与现有方法相比，其性能更优。 AI

影响 增强了LLM在持续学习场景中的适应性并减少了遗忘。

排序理由 该集群包含一篇详细介绍LLM持续学习新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的PASs-MoE方法改进了LLM的持续学习能力

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Zhiyan Hou, Haiyun Guo, Haokai Ma, Yandu Sun, Yonghui Yang, Jinqiao Wang ·

    PASs-MoE：通过持续学习的路径激活子空间缓解路由器和专家之间的错误对齐共漂移

    arXiv:2601.13020v2 Announce Type: replace-cross Abstract: Continual instruction tuning (CIT) requires multimodal large language models (MLLMs) to adapt to a stream of tasks without forgetting prior capabilities. A common strategy is to isolate updates by routing inputs to differe…

相关实体

相关话题