实体
Maximal Update Parametrization
Maximal Update Parametrization
PulseAugur coverage of Maximal Update Parametrization — every cluster mentioning Maximal Update Parametrization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新框架预测神经网络的超参数迁移定律
研究人员开发了一个名为超参数迁移定律的新框架，以更好地理解和预测在扩展神经网络架构时如何调整超参数。该框架引入了‘有效深度’的概念，以统一卷积神经网络（CNN）、残差网络（ResNets）和Transformer等各种多路径网络。实验表明，最优学习率随着有效深度的增加而衰减，遵循普遍的-3/2幂律，从而能够可靠地在不同深度和宽度之间进行零样本学习率迁移。
-
Gated Delta Networks 扩展规则改善 LLM 训练稳定性
研究人员为门控 Delta 网络（一种神经网络架构）开发了新的扩展规则。这些规则通过一种称为坐标-尺寸估计传播的方法得出，允许在不同模型宽度之间稳定地转移学习率。在语言模型预训练上的实验表明，与标准的参数化方法不同，这些配置通过 AdamW 和 SGD 等优化器提高了学习稳定性。
-
概率Transformer扩展至0.4B参数，性能优于标准模型
研究人员开发了一种方法，通过使用最大更新参数化（muP）将超参数从较小模型迁移到较大模型来扩展概率Transformer（PT）。该技术解决了PT对超参数选择的敏感性问题，使其能够高效地扩展到拥有多达0.4亿参数的模型。实验表明，在参数数量相同的情况下，这些扩展后的PT在掩码语言建模任务上的表现优于标准Transformer。