PulseAugur
中
实时 10:49:48
English(EN) Deciphering Two Training Clocks in Grokking via Deep Linear Network Theory with Conditional ReLU Reduction

两个训练时钟理论解释Grokking现象

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个理论框架来解释机器学习中的“Grokking”现象，即模型以不同速率拟合训练数据和学习可泛化规则。他们提出了“两个训练时钟”的概念，以区分分类损失的快速下降和模型内部表征的缓慢简化。该理论最初在深度线性网络中得到验证，然后扩展到解释ReLU MLP中类似的行为，表明存在一个两阶段学习过程，其中分类器首先适应，然后进行表征优化。 AI

影响 为模型学习的关键方面提供了理论解释，可能指导未来的模型开发和训练策略。

排序理由 该集群包含一篇学术论文，详细介绍了理解机器学习现象的新理论框架。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Hu Tan, Kuo Gai, Shihua Zhang ·

    基于条件ReLU约简的深度线性网络理论解析Grokking中的两个训练时钟

    arXiv:2606.05863v1 Announce Type: new Abstract: Grokking suggests that fitting the training data and learning a simple underlying rule may occur on different time scales. We formalize this phenomenon by separating the fast decay of the classification loss from the slower simplifi…

相关实体

相关话题