MaskCoFT

MaskCoFT 微调提升 MoE 模型推理效率

研究人员开发了 MaskCoFT，一种旨在提高专家混合（MoE）语言模型在推理过程中效率的新型微调方法。该技术同时训练模型的路由器和专家，使它们能够相互适应。通过使用可学习的掩码来限制专家选择，MaskCoFT 减少了每个 token 的专家获取次数，并显著缩短了输出生成所需的时间。该方法在多个基准测试中保持了高准确性，证明了其在内存受限环境中优化 MoE 模型的有效性。