PulseAugur
中
实时 05:59:57
实体 Maximal Update Parameterization

Maximal Update Parameterization

PulseAugur coverage of Maximal Update Parameterization — every cluster mentioning Maximal Update Parameterization across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_212033 ·

    面向大型MoE模型的计算高效超参数迁移

    研究人员开发了一个计算高效的框架，用于确定大型混合专家（MoE）模型中的最优学习率。这个两步过程包括在不同宽度的模型之间迁移最优学习率，然后推断到海量token预算。通过在小型代理模型上进行线性回归，该方法可以准确预测长达10万亿token的训练视野的理想学习率，显著降低了计算成本。该框架成功应用于预训练一个1550亿参数的基础模型，验证了其有效性。