grokking
PulseAugur coverage of grokking — every cluster mentioning grokking across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
深度神经网络中的涌现(Grokking)并未改变训练效率动力学
一项新的研究论文调查了“涌现”(grokking)现象——即深度神经网络在最初看似过拟合后实现了分布外泛化——是否会影响训练效率。该研究分析了两种使用不同精度级别和训练时长的模型,发现涌现并未显著改变训练效率的整体动力学,而训练效率通常表现为平滑下降。尽管观察到涌现导致测试准确性急剧提高,但在过渡点并未导致效率出现明显的局部提升。
-
新arXiv研究将“领悟”现象映射到拉丁方块
研究人员探索了神经网络中“领悟”(grokking)现象,即模型最初会记住训练数据,然后突然泛化到未见过的数据。他们的工作将这些任务建模为 K_{q,q} 的边着色问题,根据端点集将实例分类为全优(all-good)、混合(mixed)或无优(no-good)。该研究证明,有限阿贝尔群族可以从部分观测中渐进地成为全优,而随机拉丁方块使得全优任务对于基于观测的学习者来说非常罕见。实验还表明,尽管存在稠密的多元表示,但加法的重新标记(re…
-
新框架使用重整化群理论描述神经网络的格罗金现象
研究人员开发了一个新的框架,使用缩放和重整化群(RG)理论来描述深度神经网络中格罗金现象。格罗金的特点是从记忆到泛化的延迟转变。该研究聚焦于具有两层神经网络的模加法,建立了与训练周期和权重衰减作为控制坐标一致的序参量和涨落代理。通过构建精确的耦合矩阵并使用其Fiedler向量定义有效几何,研究人员推导出的缩放指数和临界指数与经验估计值非常吻合。
-
神经网络中的Grokking:秩压缩跟随而非导致深度理解
一篇新的研究论文探讨了神经网络中“grokking”现象,即模型获得深度理解并泛化到训练数据之外。该研究聚焦于在模运算上训练的MLP和Transformer,发现权重矩阵中的秩压缩发生在grokking开始之后,而非导致其发生。研究人员观察到一种称为“子空间结晶”的现象,在grokking转变过程中,准确输出所必需的方向数量会显著减少。然而,人为施加低秩并未加速grokking,表明它是该过程的一个标志而非驱动因素。
-
基于种群的训练有助于跳出理解困境,而非加速理解
一项关于机器学习模型基于种群的训练(PBT)的研究发现,虽然 PBT 并不能加速“理解”(即模型突然达到高准确率的现象),但它可以帮助模型跳出原本无法发生理解的超参数范围。研究表明,当最优超参数触手可及时,PBT 在寻找理解方面比网格搜索慢,但当从无效超参数的“死亡区域”开始时,它成功找到了理解。该研究表明,PBT 更像是一种用于困难超参数空间的救援机制,而不是通用的加速工具。
-
通过模运算研究扩散模型的算法泛化
研究人员使用模加法任务作为试验台,对扩散模型如何实现算法泛化进行了机制化研究。研究观察到,在单图像场景下,模型将操作数编码为周期性表示,并在自注意力-前馈接口处组合它们,以重建三角加法恒等式。在多样化图像场景下,迭代采样过程将算术计算与视觉精炼分离,这由内部频率-熵度量信号指示。
-
研究发现:神经网络可在训练损失平坦的情况下学习
研究人员证明,即使在训练损失相对平坦的情况下,神经网络也能继续学习并提高性能。他们使用ReLU网络和特定的更新规则来处理模块化加法任务,观察到隐藏特征在演化,而保留的准确性显著提高,尽管训练交叉熵保持稳定。这种被称为“领悟”(grokking)的现象表明,最小化交叉熵并非正确分类的必要条件,因为预测置信度也会影响该指标。研究进一步显示,在更深的网络和Transformer模型中也存在平坦损失与学习并存的现象,这表明训练损失的平台期不一…
-
研究揭示 MLP 中的领悟会强化预先存在的算法
一篇新发表在 arXiv 上的研究调查了神经网络中“领悟”(grokking)现象,特别关注在模运算上训练的 ReLU MLP。研究人员发现,这些网络并未发展出正弦权重分布,而是发展出近乎二元的方波输入权重和满足特定相位和关系的输出权重。通过使用这些提取的参数构建一个理想化的 MLP,研究表明网络在记忆过程中实质上编码了正确的算法,而领悟的作用在于通过二值化输入权重和对齐输出权重来精炼该算法,而不是重新发现它。
-
模型容量在“领悟”中的作用通过竞争性记忆和泛化速度来解释
一篇新的研究论文提出了一个信息论框架来解释模型容量如何影响机器学习中的“领悟”(grokking)现象。研究表明,“领悟”现象,即模型在最初记忆训练数据后突然泛化,源于两个不同时间尺度的竞争:记忆速度和泛化速度。研究表明,这些时间尺度取决于模型的参数数量,较大的模型表现出更快的记忆速度。
-
研究发现,仅靠平坦度不足以实现神经网络的 grokking
研究人员调查了损失景观平坦度在神经网络泛化中的作用,特别是在 grokking 现象中。虽然之前的工作表明平坦度是泛化所必需的,但本研究发现,仅使用 Sharpness Aware Minimization (SAM)(它倾向于将训练导向更平坦的解)不足以可靠地诱导 grokking。然而,当 SAM 与权重衰减结合使用时,它能将泛化解的过渡速度在 epoch 层面提高多达四倍。对最小的两层 ReLU 模型的理论分析表明,仅靠平坦度无…
-
研究发现:AI遗忘效果与学习策略相关
一篇新论文探讨了AI模型学习方式与其遗忘能力之间的关系。研究人员发现,在训练过程中更依赖记忆的模型,在尝试遗忘特定信息时会经历更大的性能下降,这种现象被称为“保留损害”。在包括模块加法任务和大型语言模型遗忘以进行回忆等各种场景中都观察到了这种趋势。
-
AI 行业周报:Gemini 4、FTC 调查与 Grokking 详解
Eigenform AI 的每周人工智能行业摘要“来自未来的报告”涵盖了 Gemini 4 Argon 评估、对 OpenAI 和 Anthropic 等主要人工智能公司的 FTC 调查,以及对 grokking 的解释等主题。该摘要旨在追踪和聚类人工智能领域的讨论,同时关注模型性能和监管问题。
-
新的“幅度势能”指标有助于神经网络泛化分析
研究人员引入了一个名为“幅度势能”的新概念,该概念源自度量幅度理论,以更好地理解神经网络的泛化能力。该量在logit层计算,反映了一个点在数据集中的表示程度。实验表明,该幅度势能的比率与记忆分数相关,并且可以检测决策边界的结构变化,作为模块化算术任务中“grokking”的几何指标。即使在抑制神经网络坍塌的情况下,幅度势能也保留了关于几何结构的信息。
-
AI领悟机制与低损耗区域失配相关
研究人员发现了一种新的“领悟”(grokking)现象的机制,即AI模型在过拟合训练数据后表现出延迟泛化。他们基于低损耗区域几何形状的分析框架表明,当训练集和验证集分区导致低损耗区域失配时,就会发生领悟。在对transformer进行的一个特定反例中,一个保持对称性的分割阻止了领悟,这表明当这些区域未对齐时,仅靠训练超参数是不够的。
-
新理论解释机器学习模型中的“Grokking”现象
研究人员开发了一种统计理论来解释“Grokking”现象,即模型在与训练数据拟合的阶段之外学习底层信号。该理论描述了正则化几何和信号稀疏性如何影响插值附近的泛化能力,尤其是在高维回归中。在对角线性网络和Transformer上的实验证明了该理论的预测,揭示了最小范数插值中存在的统计不稳定性,其中正则化强度的小变化可能导致泛化能力显著不同,同时保持较低的训练误差。
-
研究深入探讨神经网络的grokking现象,揭示迁移带来的益处和复发风险
一篇新研究论文探讨了“grokking”现象背后的机制,即神经网络在一段表现不佳的时期后能够快速泛化。该研究在模块化算术任务上进行,发现与嵌入和读出层一起迁移内部模型权重,可以显著提高早期准确性并缩短达到泛化所需的时间。然而,持续训练可能导致性能复发,这可以通过冻结迁移的组件或使用验证触发的门控来缓解。
-
新的复杂度控制器加速AI模型“领悟”
研究人员开发了一种新的可微分复杂度估计器 $K^{\mathrm{CDM}}_{\mathrm{s}F}$ 来研究机器学习中的“领悟”(grokking)现象。这种新颖的方法允许将微积分应用于学习动力学,从而使系统能够充当加速“领悟”的控制器。研究发现,这种复杂度控制器可以用显著更少的干预实现与传统方法类似的结果,并且只有映射复杂度准确地标记了过渡的完成。
-
神经网络中的 Grokking 转换已量化,数据复杂度是关键
研究人员量化了神经网络中从记忆到泛化的转换现象,即 grokking。他们发现 grokking 发生时间存在幂律标度关系,表明数据复杂度比模型容量更重要。研究还确定了与权重衰减相关的清晰相边界,并观察到转换过程中权重范数的单调压缩,这表明隐式正则化倾向于更简单的解决方案。
-
受生物启发的机制可增强人工智能模型的泛化能力
研究人员探索了受生物启发的机制,以改善多层感知机中的“领悟”现象,即模型从记忆过渡到泛化。通过引入输入门控、结构可塑性和稳态等特性,他们观察到某些机制显著增强了这种过渡。稳态被证明是最具影响力的,其次是结构稀疏化,这表明调节神经元利用率和有效连接可以加速可泛化表征的发展,可能使大型语言模型受益。
-
新研究详解神经网络泛化中的“通道化”现象
研究人员在过参数化神经网络中识别出一种称为“通道化”的现象,它描述了拟合训练数据的解的选择在训练过程中如何演变。这一过程在三个“grokking”任务中均有观察到,涉及在可见泛化出现之前出现的、对权重衰减脉冲的有序时间敏感性。研究表明,这种通道化通过约束解空间来帮助选择泛化能力更好的解。