StickyMoE

新的训练方法提高了 MoE 模型在边缘设备的效率

研究人员开发了 StickyMoE，一种用于混合专家（MoE）模型的新训练方法，旨在提高在边缘设备的推理效率。该技术引入了一种可微分的路由一致性损失，该损失可以阻止连续标记之间的突然专家切换，从而促进语义相关文本跨度的稳定专家分配。与在预训练后应用修复的先前方法不同，StickyMoE 将此优化直接集成到训练过程中，使路由和专家表示能够共同演进。实验表明，专家切换率显著降低，对模型困惑度的影响最小，从而在质量和局部性方面实现了帕累托最优改进。