实体 Yuqi Xu

Yuqi Xu

PulseAugur coverage of Yuqi Xu — every cluster mentioning Yuqi Xu across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_51181 · May 26 · 04:00

Grouter方法通过解耦路由加速MoE模型训练

研究人员推出了一种新颖的训练混合专家（MoE）模型的方法——Grouter，该方法将路由策略与专家权重解耦。通过使用从预训练MoE模型派生的固定路由器，该方法加速了收敛并提高了训练稳定性。Grouter还结合了专家折叠和调优，以适应不同的模型配置和数据分布，从而在预训练数据利用率和吞吐量加速方面取得了显著的提升。