English(EN) Generic Expert Coverage for Pruning SparseMixture-of-Experts Language Models

新的MoE剪枝方法使用通用数据来保留专家效用

作者 PulseAugur 编辑部 · [1 个来源] · 2026-07-02 05:02

研究人员开发了一种名为 Generic TB-Coverage 的新方法，用于剪枝稀疏激活的混合专家（MoE）语言模型。该方法使用 WikiText2 和 C4 等通用文本语料库进行校准，这与依赖单一聚合重要性分数的现有方法不同。通过在每个语料库上单独分析每个专家的效用，并强制执行基于预算的覆盖规则，Generic TB-Coverage 在创建最终剪枝掩码之前保留了高效用专家。在 Qwen1.5-MoE-A2.7B 和 DeepSeek-MoE-16B-Base 模型上的实验表明，与其他剪枝方法相比，在激进剪枝场景下，平均准确率有所提高，困惑度下降有所减少。 AI

影响该方法可以通过减小大型MoE模型的规模而不显著降低性能，从而实现更高效的部署，尤其是在缺乏下游校准数据的情况下。

排序理由该集群描述了一篇研究论文中提出的用于剪枝MoE语言模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群描述了一篇研究论文中提出的用于剪枝MoE语言模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 89 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

Hugging Face Daily Papers TIER_1 English(EN) · 2026-07-02 05:02

稀疏混合专家语言模型的通用专家覆盖剪枝

Sparsely activated Mixture-of-Experts (MoE) language models contain substantial structured redundancy among routed experts, but pruning them without downstream calibration data remains challenging. Existing expert-pruning methods typically rely on a single aggregated importance s…

本文如何被排名

报道来源 [1]

稀疏混合专家语言模型的通用专家覆盖剪枝

相关实体

相关话题