English(EN) Latent Algorithmic Structure Precedes Grokking: A Mechanistic Study of ReLU MLPs on Modular Arithmetic

研究揭示 MLP 中的领悟会强化预先存在的算法

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-15 04:00

一篇新发表在 arXiv 上的研究调查了神经网络中“领悟”（grokking）现象，特别关注在模运算上训练的 ReLU MLP。研究人员发现，这些网络并未发展出正弦权重分布，而是发展出近乎二元的方波输入权重和满足特定相位和关系的输出权重。通过使用这些提取的参数构建一个理想化的 MLP，研究表明网络在记忆过程中实质上编码了正确的算法，而领悟的作用在于通过二值化输入权重和对齐输出权重来精炼该算法，而不是重新发现它。 AI

影响为理解神经网络如何学习和泛化提供了见解，可能为未来的模型开发提供信息。

排序理由该集群包含一篇关于机器学习现象的机制研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 18 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 该集群包含一篇关于机器学习现象的机制研究的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, model release; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Anand Swaroop · 2026-10-15 04:00

潜变量算法结构先于过拟合：ReLU MLP 在模运算上的机制研究

arXiv:2603.23784v1 Announce Type: cross Abstract: Grokking-the phenomenon where validation accuracy of neural networks on modular addition of two integers rises long after training data has been memorized-has been characterized in previous works as producing sinusoidal input weig…

本文如何被排名

报道来源 [1]

潜变量算法结构先于过拟合：ReLU MLP 在模运算上的机制研究

相关实体

相关话题