PulseAugur
中
实时 12:51:21
English(EN) DTop-p MoE: Sparsity-Controlled Dynamic Top-p MoE for Foundation Model Pre-training

新的 DTop-p MoE 为高效基础模型训练提供动态路由

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种新颖的稀疏混合专家（MoE）架构路由机制 DTop-p MoE，用于基础模型预训练。该方法使用比例-积分控制器动态调整 Top-p 概率阈值，并在全局稀疏度约束下进行层级专家选择。实验表明，DTop-p MoE 在大型语言模型和扩散 Transformer 中优于标准的 Top-k 和固定 Top-p 方法，同时保持可比的计算成本。 AI

影响 引入了一种更有效的 MoE 架构路由机制，有望提高大型模型的训练可扩展性和性能。

排序理由 该集群包含一篇详细介绍基础模型预训练新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Can Jin, Hongwu Peng, Mingcan Xiang, Qixin Zhang, Xiangchi Yuan, Amit Hasan, Ohiremen Dibua, Yifan Gong, Yan Kang, Dimitris N. Metaxas ·

    DTop-p MoE: Sparsity-Controlled Dynamic Top-p MoE for Foundation Model Pre-training

    arXiv:2512.13996v2 Announce Type: replace Abstract: Sparse Mixture-of-Experts architectures are essential for scaling model capacity efficiently, yet the standard Top-$k$ routing imposes a rigid sparsity pattern that ignores the intrinsic variance in token difficulty and layer-sp…

相关实体

相关话题