研究人员探索了神经网络中“领悟”（grokking）现象，即模型最初会记住训练数据，然后突然泛化到未见过的数据。他们的工作将这些任务建模为 K_{q,q} 的边着色问题，根据端点集将实例分类为全优（all-good）、混合（mixed）或无优（no-good）。该研究证明，有限阿贝尔群族可以从部分观测中渐进地成为全优，而随机拉丁方块使得全优任务对于基于观测的学习者来说非常罕见。实验还表明，尽管存在稠密的多元表示，但加法的重新标记（relabelings）仍然可以泛化，并且在复合阶任务上，预测器在学习完整标签之前会学习到粗略的输出。 AI
影响 为神经网络中的泛化提供了理论见解，可能为未来的模型架构和训练策略提供信息。
排序理由 这是一篇发表在arXiv上的研究论文，详细介绍了机器学习现象的理论和实验发现。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- finite abelian group
- Gotit.pub
- grokking
- Hugging Face
- IArxiv
- Influence Flower
- K_{q,q}
- ScienceCast
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
