实体 GaP-MoE

GaP-MoE

PulseAugur coverage of GaP-MoE — every cluster mentioning GaP-MoE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_315147 · Oct 22 · 04:00

GaP-MoE 增强了混合专家模型中的专家专业化

研究人员推出了一种新颖的稀疏混合专家（SMoE）模型方法 GaP-MoE，旨在防止表示坍塌并增强专家多样性。与修改损失函数或路由器架构的先前方法不同，GaP-MoE 直接操纵专家输出梯度。它通过将跟随专家梯度投影到领导专家近期梯度的正交补集上来实现专家专业化，从而在不影响任务目标的情况下消除方向重叠。在基于 BERT 的模型对 GLUE 等微调任务以及在 WikiText-103、enwik8 和 text8 等数据集上从头预训练的基…