实体 OptEP

OptEP

PulseAugur coverage of OptEP — every cluster mentioning OptEP across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_312406 · Oct 21 · 04:00

新的剪枝技术优化MoE模型；循环模型在临床NLP领域展现潜力

研究人员开发了一种名为OptEP的新方法，用于剪枝混合专家（MoE）语言模型，该方法在不牺牲性能的情况下显著减少了需要存储的专家参数数量。该技术将专家选择视为一个子集选择问题，并使用可扩展的连续松弛方法来优化专家选择和更新保留的权重。实验表明，OptEP在Qwen3-30B-A3B上实现了高达15.05%的显著准确率提升，尤其是在激进剪枝场景下，证明了其在降低存储需求的同时保持模型性能的有效性。此外，一项研究探讨了使用小型循环深度语言…