SpawnLoRA

新研究识别并解决了 MoE+LoRA 微调中的子空间争用问题

一篇题为“路由不足以解决 MoE+LoRA 微调中的适配器内部子空间争用”的新研究论文，探讨了将混合专家（MoE）路由与低秩自适应（LoRA）相结合进行多领域微调的局限性。研究发现，即使有不同的专家路由，由于同一低秩适配器子空间内的梯度竞争，仍可能发生负迁移。为解决此问题，研究人员开发了 SpawnLoRA 方法，该方法在检测到争用时，在 MoE 专家内部动态添加门控子适配器，并在 Phi-tiny-MoE-instruct 和 OL…