研究人员开发了一个最小动力学模型，用于理解软体专家（MoE）层自适应softmax路由中的负载不平衡。该模型源自一个强化学习规则，当反馈强度超过临界值时，会表现出一种叉式分岔，即一个稳定的平衡状态转变为两个不对称状态。进一步分析表明，当引入外部不对称性时，在控制参数平面中会出现一个尖点灾变，并提供了该现象的确切参数方程。数值实验和分类任务上的小型MoE模型支持了这些发现，为MoE路由器中突发的负载不平衡提供了一种低维机制。 AI
影响 为理解和潜在缓解MoE架构中的负载不平衡提供了理论框架。
排序理由 学术论文，详细介绍了理解MoE路由器行为的新模型。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
