Maximal Update Parametrization
PulseAugur coverage of Maximal Update Parametrization — every cluster mentioning Maximal Update Parametrization across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
New DP-μP framework enables hyperparameter transfer for private model training
研究人员开发了DP-μP，一个将最大更新参数化（μP）扩展到差分隐私优化中的新框架。标准的μP在正常训练中允许零样本超参数迁移，但在DP约束下，由于噪声注入和梯度裁剪而失效。DP-μP通过分析这些隐私机制与特征学习之间的相互作用来解决这个问题，推导出了层级学习率缩放的信噪比（SNR）条件。该框架为DP-SGD、DP-Adam和DP-Muon优化器提供了具体的缩放规则，能够有效地在不同模型宽度和MLP、ViT、GPT-2等架构之间进行零…
-
$\sigma$Transfer 实现小到大神经网络的高效不确定性迁移
研究人员开发了一种名为$\sigma$Transfer的方法，可以实现将预测不确定性信息从小型神经网络高效地迁移到显著更大的网络中。该技术利用最大更新参数化（$\mu\text{P}$）来确保模型宽度增加时先验精度的稳定性，从而无需对大型模型进行昂贵的后验扫描。$\sigma$Transfer 已显示出显著的加速效果，在某些情况下高达5000倍，同时目标NLL的下降极小，并且还可以用于迁移与分布外检测和弃权相关的决策。
-
新框架预测神经网络的超参数迁移定律
研究人员开发了一个名为超参数迁移定律的新框架，以更好地理解和预测在扩展神经网络架构时如何调整超参数。该框架引入了‘有效深度’的概念，以统一卷积神经网络（CNN）、残差网络（ResNets）和Transformer等各种多路径网络。实验表明，最优学习率随着有效深度的增加而衰减，遵循普遍的-3/2幂律，从而能够可靠地在不同深度和宽度之间进行零样本学习率迁移。
-
Gated Delta Networks 扩展规则改善 LLM 训练稳定性
研究人员为门控 Delta 网络（一种神经网络架构）开发了新的扩展规则。这些规则通过一种称为坐标-尺寸估计传播的方法得出，允许在不同模型宽度之间稳定地转移学习率。在语言模型预训练上的实验表明，与标准的参数化方法不同，这些配置通过 AdamW 和 SGD 等优化器提高了学习稳定性。
-
概率Transformer扩展至0.4B参数，性能优于标准模型
研究人员开发了一种方法，通过使用最大更新参数化（muP）将超参数从较小模型迁移到较大模型来扩展概率Transformer（PT）。该技术解决了PT对超参数选择的敏感性问题，使其能够高效地扩展到拥有多达0.4亿参数的模型。实验表明，在参数数量相同的情况下，这些扩展后的PT在掩码语言建模任务上的表现优于标准Transformer。