实体
Maximal Update Parametrization
Maximal Update Parametrization
PulseAugur coverage of Maximal Update Parametrization — every cluster mentioning Maximal Update Parametrization across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Gated Delta Networks 扩展规则改善 LLM 训练稳定性
研究人员为门控 Delta 网络（一种神经网络架构）开发了新的扩展规则。这些规则通过一种称为坐标-尺寸估计传播的方法得出，允许在不同模型宽度之间稳定地转移学习率。在语言模型预训练上的实验表明，与标准的参数化方法不同，这些配置通过 AdamW 和 SGD 等优化器提高了学习稳定性。
-
概率Transformer扩展至0.4B参数，性能优于标准模型
研究人员开发了一种方法，通过使用最大更新参数化（muP）将超参数从较小模型迁移到较大模型来扩展概率Transformer（PT）。该技术解决了PT对超参数选择的敏感性问题，使其能够高效地扩展到拥有多达0.4亿参数的模型。实验表明，在参数数量相同的情况下，这些扩展后的PT在掩码语言建模任务上的表现优于标准Transformer。