nanoGPT
PulseAugur coverage of nanoGPT — every cluster mentioning nanoGPT across labs, papers, and developer communities, ranked by signal.
- 2026-05-15 research_milestone AI agents achieved new records in the nanoGPT training speedrun benchmark, surpassing human performance. 来源
9 天有情绪数据
-
117M Silia 模型在 H100 上 5 小时内训练完成
一个拥有 1.17 亿参数的 Silia 模型仅用 5 小时就在 H100 GPU 上训练完成，使用了 synth-100M 数据集。该模型的架构在研究论文中有详细介绍，包括多头注意力和旋转位置嵌入。尽管训练速度很快，但由于数据集大小和学习率有限，该模型被认为训练不足，尽管一个参数量为 1150 万的较小 Silia 模型在验证损失方面表现与 nanoGPT 相当。
-
新的“径向抑制”方法加速神经网络泛化
研究人员开发了一种名为径向抑制的新方法，以加速神经网络中的算法泛化。该技术通过分析隐藏表示的几何动力学，解决了模型在泛化之前先记住训练数据的常见问题。通过惩罚径向膨胀，该方法鼓励各向异性权重正则化，并将收敛偏向更平坦的最小值，从而显著加快理解速度并减少训练步骤。
-
无梯度EntropyBeam模型在莎士比亚基准测试中优于nanoGPT
一款名为EntropyBeam的新语言模型在nanoGPT莎士比亚基准测试中表现出卓越的性能，其交叉熵低于nanoGPT模型。EntropyBeam在没有可训练参数的情况下运行，通过计算将字符上下文映射到下一个字符频率的计数表，在单通道中完成学习。虽然它比nanoGPT的学习参数（60,192个）存储更多的数据（270万个上下文-转换条目），但它通过加权几何平均值组合多个加权顺序的独特方法实现了更高的准确性。
-
BeamGPT 算子提升语言模型训练效率
一种名为 BeamGPT 的新型算子已被开发出来，它通过识别标准注意力机制所遗漏的序列结构，显著改善了语言模型的学习曲线。该算子集成到类 nanoGPT 模型中后，在各层实现了约 45% 的注意力与 55% 的 BeamGPT 混合比例。BeamGPT 在序列长度上是线性的，与标准注意力的二次复杂度相比具有显著优势，在长上下文情况下可节省约 2.3 倍的计算资源。用 BeamGPT 替换标准的 MLP 层可将训练损失降低 73 倍，参…
-
开发者从头开始实现 GPTQ 量化，实现了最小的性能损失
一位开发者详细介绍了他们从头开始在 nanoGPT 模型上实现 GPTQ 量化方法的过程。该技术通过降低权重的精度来减小模型大小并加快推理速度，但与朴素方法不同的是，GPTQ 会考虑权重之间的相互依赖性。开发者解释说，GPTQ 使用 Hessian 矩阵通过二阶近似损失景观来最小化准确性下降，在 61 个量化层上仅实现了 1.1% 的困惑度损失。
-
Aurora优化器增强MLP训练，性能优于Muon
研究人员推出了一种名为Aurora的新型谱优化器，旨在解决矩阵参数中行范数不均匀的问题，尤其是在MLP层中。这个问题会导致神经元接收到的更新不足而变得无效。Aurora在保持动量矩阵理想几何特性的同时，强制执行矩阵参数更新中的行范数均匀性，在预训练实验中性能优于现有的Muon优化器。该新型优化器还在修改版的nanoGPT基准测试中取得了最先进的成果，并显示出训练非常宽的MLP层的潜力。
-
新的 AngularMuown 优化器改进 Transformer 预训练
研究人员推出了一种新颖的优化算法 AngularMuown，它在 Muon 和 Muown 等矩阵感知优化器的原理基础上，隐式地执行角度步长衰减。该新方法显式优化归一化方向，并使用可调度的角度乘数，将其与径向幅度更新分离。初步结果显示 AngularMuown 的性能优于其前身 Muown，并且目前在 modded nanoGPT 速度运行竞赛中处于领先地位。在 Qwen2 模型上的实验表明，该算法能够有效地扩展到更大的参数数量。
-
混合LLM-GNN模型提升量子电路优化效率
一位开发者创建了一个结合大型语言模型（LLMs）和图神经网络（GNNs）的混合模型，以提高ADAPT-QAOA算法在量子电路优化中的效率。该方法旨在通过使模型能够学习图结构与量子操作之间的关系，来解决量子电路设计、参数初始化和泛化方面的挑战。实验表明，该混合模型实现了快速学习，产生了紧凑且稳定的电路，并在近似比方面优于Vanilla QAOA等传统方法。
-
学生提出 Silia Transformer 以实现参数高效的小型模型
一名学生研究员推出了一种名为“Silia”的新型 Transformer 架构，专为参数量低于 1000 万的模型设计，以实现参数效率。该架构旨在将注意力机制的动态混合与前馈网络的强非线性结合到单个操作中。尽管由于硬件限制实验受限，但实验表明 Silia 在参数量显著减少的情况下达到了与 GPT-2 相当的性能。
-
新的“μ子”优化技术使矩阵梯度趋于平缓
一篇新研究论文介绍了一种名为“μ子”（Muon）的优化技术，该技术用极向因子取代矩阵梯度。此方法保持了奇异方向，但使更新谱趋于平缓，作者认为这在某些训练模式下可能是有益的。实验表明，与AdamW相比，μ子可以在小规模NanoGPT预训练中改善验证损失，尽管其有效性取决于具体的训练模式。
-
Kronecker Embeddings 削减语言模型参数，提升性能
研究人员开发了 Kronecker Embeddings，一种表示语言模型中标记的新颖方法，可显著减少可训练参数的数量。该方法用固定的编码器和学习到的投影替换大型嵌入表，将参数数量减少了 91-94%。实验表明，与传统的 BPE 绑定嵌入相比，Kronecker Embeddings 可带来更低的验证损失和更快的收敛速度，同时还能提高对拼写错误的鲁棒性，并通过生成保留字节级信息。
-
提议社区项目在8GB显存消费级硬件上训练LLM
r/LocalLLaMA上的一位用户正在提议一个社区项目，旨在使用仅消费级硬件从头开始训练一个大型语言模型，特别针对8GB显存的限制。目标是创建一个可访问的、免费的学习体验，绕过对昂贵云计算资源的需求。该项目将结合低比特训练、Muon优化器和激进量化等现代技术来实现这种内存效率。
-
AI代理在nanoGPT训练速通中创下新纪录
Prime Intellect 利用先进的AI模型，特别是Codex（基于GPT-5.5）和Claude Code（基于Opus 4.7），自主优化了nanoGPT的训练过程。AI代理在两周内进行了约10,000次运行，消耗了大量的计算资源，并成功超越了人类在速通基准测试中的表现。虽然AI代理在超参数调整和方法重组方面表现出色，但在产生全新想法方面显示出局限性，需要人类提供的记录来继续改进。
-
Tilde Research 发布 Aurora 优化器以解决 Muon 中的神经元死亡问题
Tilde Research 推出了 Aurora，这是一种旨在更有效地训练神经网络的新型优化器。Aurora 解决了流行的 Muon 优化器中的一个关键问题，即在训练过程中大量神经元会永久失活。这个新的优化器在具有 1.1B 参数的预训练实验中得到了验证，在 modded-nanoGPT speedrun 基准测试中取得了最先进的性能，并且其代码已公开发布。
-
Aurora 优化器提升神经网络训练效率
研究人员推出 Aurora，这是一种旨在改进大型神经网络训练的新优化器，特别适用于具有矩形矩阵的神经网络。Aurora 解决了现有优化器（如 Muon）在 MLP 层中可能出现的神经元死亡问题，尤其是在应用行归一化时。通过结合感知杠杆率和保持正交性，Aurora 展现出显著的数据效率，在开源互联网数据上实现了 100 倍的提升，并在通用评估中超越了更大的模型。该优化器被呈现为一个几乎没有开销的即插即用替代品，并且其代码已开源。
-
研究发现Muon优化器在凸Lipschitz函数上失效
一篇新论文挑战了Muon优化算法的理论基础，证明它在凸Lipschitz函数上不收敛。研究表明，Muon的实际成功可能源于这种经典模型未能捕捉到的平滑特性。虽然误差反馈可以恢复理论收敛性，但它会降低在关键深度学习任务中的实际性能。