新方法允许 MoE 模型跳过超过一半的专家

研究人员开发了一个名为 Zero-Expert Self-Distillation Adaptation (ZEDA) 的新框架，以提高现有 Mixture-of-Experts (MoE) 语言模型的效率。ZEDA 允许经过后训练的静态 MoE 模型在推理过程中动态地跳过超过一半的专家，同时准确性损失极小。该方法在 Qwen3-30B-A3B 和 GLM-4.7-Flash 模型上进行了测试，展示了显著的推理加速，并且优于现有的动态 MoE 基线。 AI

影响 能够显著加速 MoE 模型的推理，可能降低服务成本并提高可访问性。

排序理由 该集群包含一篇详细介绍提高模型效率新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• GLM-4.7-Flash
• Mixture-of-Experts (MoE)
• Qwen3-30B-A3B
• Zero-Expert Self-Distillation Adaptation (ZEDA)

• 论文
• 模型发布
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →