Xingtai Lv

新方法允许 MoE 模型跳过超过一半的专家

研究人员开发了一个名为 Zero-Expert Self-Distillation Adaptation (ZEDA) 的新框架，以提高 Mixture-of-Experts (MoE) 语言模型的效率。ZEDA 允许经过后训练的静态 MoE 模型在推理过程中动态地跳过超过一半的专家，而准确性损失极小。该方法在 Qwen3-30B-A3B 和 GLM-4.7-Flash 上进行了测试，显示计算量显著减少，推理速度约提高了 1.20 倍。