研究人员开发了 StickyMoE，一种用于混合专家（MoE）模型的新训练方法，旨在提高在边缘设备的推理效率。该技术引入了一种可微分的路由一致性损失，该损失可以阻止连续标记之间的突然专家切换，从而促进语义相关文本跨度的稳定专家分配。与在预训练后应用修复的先前方法不同，StickyMoE 将此优化直接集成到训练过程中，使路由和专家表示能够共同演进。实验表明，专家切换率显著降低，对模型困惑度的影响最小，从而在质量和局部性方面实现了帕累托最优改进。 AI
影响 该方法可能导致在资源受限设备上实现更高效的 AI 模型，从而能够更广泛地部署先进的 AI 功能。
排序理由 这是一篇详细介绍 AI 模型新训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
