Maximal Update Parameterization
PulseAugur coverage of Maximal Update Parameterization — every cluster mentioning Maximal Update Parameterization across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
ShellElastic 为基础模型提供可扩展的弹性预训练
研究人员开发了 ShellElastic，一种新颖的基础模型训练方法，可高效支持多样化的推理预算。该方法在单个超网内训练嵌套的子网络，克服了可变工作负载、有限的超参数迁移以及确保所有子网络同时更新等挑战。ShellElastic 将隐藏维度组织成一个密集核心和连续的层，从而实现固定的计算图和成本效益高的训练。该系统还引入了 \(\\mu\)E，这是最大更新参数化的一个扩展，它保证所有子网络都得到最大程度的更新，并跨不同模型尺寸保持最优超参数。
-
面向大型MoE模型的计算高效超参数迁移
研究人员开发了一个计算高效的框架，用于确定大型混合专家（MoE）模型中的最优学习率。这个两步过程包括在不同宽度的模型之间迁移最优学习率，然后推断到海量token预算。通过在小型代理模型上进行线性回归，该方法可以准确预测长达10万亿token的训练视野的理想学习率，显著降低了计算成本。该框架成功应用于预训练一个1550亿参数的基础模型，验证了其有效性。
-
新框架高效预测大型MoE模型最优学习率
研究人员开发了一种新颖的两步框架，可高效确定大型混合专家（MoE）模型的最优学习率。该方法利用不同模型宽度之间的超参数迁移，并将研究结果外推到海量token预算，显著降低了传统超参数搜索的计算成本。该框架采用了最大更新参数化（Maximal Update Parameterization）的适配和Muon优化器，并成功应用于预训练一个155B参数的基础模型，证明了其在预测大规模MoE训练最优配置方面的有效性。