研究人员调查了专家混合（MoE）模型中 Softmax 路由的动态，观察到它会导致概率集中在部分专家上，从而有效地抑制其他专家。该研究探讨了这种集中的形成和持续性，以及概率恢复的机制。他们确定了固定专家的固定损失障碍，并发现对于具有可训练专家输出的模型，适应率会影响路由限制。研究还提出了一种分解协方差和梯度优势的方法，在特定条件下揭示了对数或幂律恢复时间。使用 Transformer-MoE 训练进行的实验表明，改变路由器梯度对比会影响恢复和累积的对数几率。 AI
影响 这项研究提供了对 MoE 模型内部动态的见解，可能有助于提高训练稳定性和专家利用率。
排序理由 该集群包含一篇详细介绍模型架构技术发现的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
