Tilde Research 推出了 Aurora，这是一种旨在更有效地训练神经网络的新型优化器。Aurora 解决了流行的 Muon 优化器中的一个关键问题，即在训练过程中大量神经元会永久失活。这个新的优化器在具有 1.1B 参数的预训练实验中得到了验证，在 modded-nanoGPT speedrun 基准测试中取得了最先进的性能，并且其代码已公开发布。 AI
影响 修复了广泛使用的优化器中的一个关键缺陷，有可能提高大规模模型的训练效率和模型性能。
排序理由 该集群描述了用于神经网络训练的新优化器的发布，包括实验结果和开源代码。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<p>Researchers at Tilde Research have released Aurora, a new optimizer for training neural networks that addresses a structural flaw in the widely-used Muon optimizer. The flaw quietly kills off a significant fraction of MLP neurons during training and keeps them permanently dead…
Tilde Research has released Aurora, a new optimiser for training neural networks that fixes a hidden flaw in the widely-used Muon optimiser. The flaw causes a significant fraction of MLP neurons to die permanently during training. Aurora comes with a 1.1B parameter pretraining ex…