PulseAugur
中
实时 17:59:24
实体 modded-nanoGPT speedrun benchmark

modded-nanoGPT speedrun benchmark

PulseAugur coverage of modded-nanoGPT speedrun benchmark — every cluster mentioning modded-nanoGPT speedrun benchmark across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_28033 ·

    Tilde Research 发布 Aurora 优化器以解决 Muon 中的神经元死亡问题

    Tilde Research 推出了 Aurora，这是一种旨在更有效地训练神经网络的新型优化器。Aurora 解决了流行的 Muon 优化器中的一个关键问题，即在训练过程中大量神经元会永久失活。这个新的优化器在具有 1.1B 参数的预训练实验中得到了验证，在 modded-nanoGPT speedrun 基准测试中取得了最先进的性能，并且其代码已公开发布。