Can Jin

新的 DTop-p MoE 为高效基础模型训练提供动态路由

研究人员推出了一种新颖的稀疏混合专家（MoE）架构路由机制 DTop-p MoE，用于基础模型预训练。该方法使用比例-积分控制器动态调整 Top-p 概率阈值，并在全局稀疏度约束下进行层级专家选择。实验表明，DTop-p MoE 在大型语言模型和扩散 Transformer 中优于标准的 Top-k 和固定 Top-p 方法，同时保持可比的计算成本。