一篇题为“路由不足以解决 MoE+LoRA 微调中的适配器内部子空间争用”的新研究论文，探讨了将混合专家（MoE）路由与低秩自适应（LoRA）相结合进行多领域微调的局限性。研究发现，即使有不同的专家路由，由于同一低秩适配器子空间内的梯度竞争，仍可能发生负迁移。为解决此问题，研究人员开发了 SpawnLoRA 方法，该方法在检测到争用时，在 MoE 专家内部动态添加门控子适配器，并在 Phi-tiny-MoE-instruct 和 OLMoE-1B-7B 等模型上展示了改进的性能。 AI
影响 引入了一种缓解多领域微调中负迁移的技术，有望提高专业化大语言模型的效率和性能。
排序理由 该集群包含一篇详细介绍大语言模型微调新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
