Peizhuang Cong

MoE模型：通过预测算法实现专家负载稳定

研究人员开发了一种方法来稳定混合专家（MoE）模型中的专家负载分配，解决了阻碍并行化和资源利用率的专家负载波动问题。通过分析训练过程中的专家负载，他们识别了瞬态和稳定状态，并采用预测算法来准确预测专家负载比例。对于GPT3 350M模型，该方法在预测未来1000步和2000步的负载时，平均误差率分别约为1.3%和1.8%。这项工作为MoE模型训练中的专家放置和资源分配提供了指导。