PulseAugur
中
实时 01:10:57
English(EN) Tilde Research Introduces Aurora: A Leverage-Aware Optimizer That Fixes a Hidden Neuron Death Problem in Muon

Tilde Research 发布 Aurora 优化器以解决 Muon 中的神经元死亡问题

作者 PulseAugur 编辑部 · [2 个来源] ·

Tilde Research 推出了 Aurora，这是一种旨在更有效地训练神经网络的新型优化器。Aurora 解决了流行的 Muon 优化器中的一个关键问题，即在训练过程中大量神经元会永久失活。这个新的优化器在具有 1.1B 参数的预训练实验中得到了验证，在 modded-nanoGPT speedrun 基准测试中取得了最先进的性能，并且其代码已公开发布。 AI

影响 修复了广泛使用的优化器中的一个关键缺陷，有可能提高大规模模型的训练效率和模型性能。

排序理由 该集群描述了用于神经网络训练的新优化器的发布，包括实验结果和开源代码。

在 MarkTechPost 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Tilde Research 发布 Aurora 优化器以解决 Muon 中的神经元死亡问题

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群描述了用于神经网络训练的新优化器的发布，包括实验结果和开源代码。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
model release, paper, other
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
106 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. MarkTechPost TIER_1 English(EN) · Asif Razzaq ·

    Tilde Research 推出 Aurora：一种解决 Muon 中隐藏神经元死亡问题的、感知杠杆的优化器

    <p>Researchers at Tilde Research have released Aurora, a new optimizer for training neural networks that addresses a structural flaw in the widely-used Muon optimizer. The flaw quietly kills off a significant fraction of MLP neurons during training and keeps them permanently dead…

  2. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    Tilde Research 发布了 Aurora，一款用于训练神经网络的新优化器，修复了广泛使用的 Muon 优化器中一个隐藏的缺陷。该缺陷导致了 s

    Tilde Research has released Aurora, a new optimiser for training neural networks that fixes a hidden flaw in the widely-used Muon optimiser. The flaw causes a significant fraction of MLP neurons to die permanently during training. Aurora comes with a 1.1B parameter pretraining ex…

    链接 marktechpost.com/…/tilde-research-introdu…

相关实体

相关话题