实体
Zero-Expert Self-Distillation Adaptation (ZEDA)
Zero-Expert Self-Distillation Adaptation (ZEDA)
PulseAugur coverage of Zero-Expert Self-Distillation Adaptation (ZEDA) — every cluster mentioning Zero-Expert Self-Distillation Adaptation (ZEDA) across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
时间线
- 2026-05-18 research_milestone A new framework, ZEDA, was introduced to make Mixture-of-Experts models more efficient by enabling them to skip over half of their experts during inference. 来源
最近 · 第 1/1 页 · 共 2 条
-
新方法允许 MoE 模型跳过超过一半的专家
研究人员开发了一个名为 Zero-Expert Self-Distillation Adaptation (ZEDA) 的新框架，以提高 Mixture-of-Experts (MoE) 语言模型的效率。ZEDA 允许经过后训练的静态 MoE 模型在推理过程中动态地跳过超过一半的专家，而准确性损失极小。该方法在 Qwen3-30B-A3B 和 GLM-4.7-Flash 上进行了测试，显示计算量显著减少，推理速度约提高了 1.20 倍。
-
新方法允许 MoE 模型跳过超过一半的专家
研究人员开发了一个名为 Zero-Expert Self-Distillation Adaptation (ZEDA) 的新框架，以提高现有 Mixture-of-Experts (MoE) 语言模型的效率。ZEDA 允许经过后训练的静态 MoE 模型在推理过程中动态地跳过超过一半的专家，同时准确性损失极小。该方法在 Qwen3-30B-A3B 和 GLM-4.7-Flash 模型上进行了测试，展示了显著的推理加速，并且优于现有的动态…