实体 JetMoE

JetMoE

PulseAugur coverage of JetMoE — every cluster mentioning JetMoE across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_259353 · Sep 17 · 04:00

新研究揭示稀疏 MoE 路由中的预测结构

研究人员在稀疏混合专家（MoE）模型的路由机制中发现了残差预测结构。通过分析冻结的 OLMoE 和 JetMoE 模型，他们发现，除了紧邻的前一层之外，还纳入早期层的专家选择，可以显著提高对下一路由器选择的预测能力。这种扩展的历史通过在线性和非线性解码实验中更高的 R^2 值证明，从而提高了预测准确性。