实体
NorMuon
NorMuon
PulseAugur coverage of NorMuon — every cluster mentioning NorMuon across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
AF-Muon 优化器取代 AdamW 用于绑定嵌入模型，节省内存
研究人员开发了 AF-Muon，一种无需在绑定嵌入模型中使用 AdamW 的优化器，可能节省约 20% 的优化器状态内存。这种新方法在隐藏权重矩阵上保持了 Muon 的谱范数最陡下降更新，同时为绑定词汇表采用了支持感知线性最小化。AF-Muon 在包括语言模型、图像模型和蛋白质序列在内的各种模型架构和数据模态中，以最小的开销展示了平均验证损失和困惑度的稳健改进。
-
Tilde Research 发布 Aurora 优化器以解决 Muon 中的神经元死亡问题
Tilde Research 推出了 Aurora，这是一种旨在更有效地训练神经网络的新型优化器。Aurora 解决了流行的 Muon 优化器中的一个关键问题，即在训练过程中大量神经元会永久失活。这个新的优化器在具有 1.1B 参数的预训练实验中得到了验证，在 modded-nanoGPT speedrun 基准测试中取得了最先进的性能，并且其代码已公开发布。
-
Aurora 优化器提升神经网络训练效率
研究人员推出 Aurora，这是一种旨在改进大型神经网络训练的新优化器，特别适用于具有矩形矩阵的神经网络。Aurora 解决了现有优化器（如 Muon）在 MLP 层中可能出现的神经元死亡问题，尤其是在应用行归一化时。通过结合感知杠杆率和保持正交性，Aurora 展现出显著的数据效率，在开源互联网数据上实现了 100 倍的提升，并在通用评估中超越了更大的模型。该优化器被呈现为一个几乎没有开销的即插即用替代品，并且其代码已开源。