grokking
PulseAugur coverage of grokking — every cluster mentioning grokking across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究论文质疑神经网络中grokking转变机制
一篇新的研究论文探讨了神经网络中“grokking”现象，即模型最初表现不佳，但在记忆了训练数据后，其泛化能力会迅速提高。该研究调查了这种急剧转变是否由插值流形的正常双曲性丧失引起，这是动力学系统中的一个概念。研究人员使用基于残差雅可比矩阵的最小非零奇异值的诊断工具，发现该值在转变过程中并未崩溃，这表明泛化能力的提高可能是一个平滑的漂移，而不是一个分岔事件。
-
新型优化器CvAdamW加速神经网络“领悟”
研究人员推出了一种新颖的AdamW优化器变体CvAdamW，旨在加速神经网络中的“领悟”（grokking）现象。领悟是指模型在记忆训练数据后实现泛化。通过将Transformer注意力视为一个热力学系统并监测其比热（Cv），CvAdamW能够动态调整权重衰减，在泛化转换即将发生时进行干预。该方法在模块化算术任务上，比标准训练显著更早地实现了领悟，在某些实验中平均领悟延迟减少了250多个epoch。研究结果表明，神经网络可能存在可检测…
-
新模型通过关注可表性来解释神经网络的涌现现象
研究人员开发了一个新模型来理解神经网络中的涌现现象，即泛化延迟的现象。该模型使用模运算任务上的全纯单项式激活函数，证明了可表性是关键。当网络的表达函数类崩溃为代数簇时，任务要么立即解决，要么无法拟合，从而消除了典型的涌现状态。研究在 585 次运行中显示出 99.8% 的准确率预测这些结果，为容量-涌现关系提供了新视角。
-
新研究详细介绍了有效加速人工智能模型训练的因素
研究人员确定了影响表征先验在加速人工智能模型训练（尤其是在 Grokking 现象中）方面有效性的关键因素。他们的研究结果表明，先验与正确特征族的对齐对于泛化至关重要，而无标签不变性先验可以显著加快训练速度。此外，在训练过程早期应用这些先验会产生最显著的好处，一个短暂的早期窗口可以捕获几乎所有的性能提升。
-
研究确定了有效表征先验以实现人工智能模型泛化的关键因素
一篇新研究论文探讨了使表征先验在机器学习中有效的因素，特别是在模型从记忆转向泛化的“grokking”的背景下。这项涉及 188 次新运行的研究发现，将先验的特征族与任务对齐至关重要，因为错误的特征族会阻碍泛化。无标签不变性先验使用交换对作为正例，展示了可靠的加速，并且当与权重范数钳位结合时，实现了显著的提速。研究还表明，这些先验在训练过程早期应用时最有效，短暂的应用窗口可以捕获大部分好处。
-
新技术将神经网络泛化速度提高了 52 倍
研究人员推出了一种名为几何维度正则化（GeomDR）的新技术，用于影响神经网络中的“grokking”现象。Grokking 指的是模型在初始阶段记忆数据，然后才泛化，这一过程尚不明确。这篇 arXiv 论文详细介绍了这种新方法，它利用谱正则化在训练过程中改变隐藏表示的维度。实验表明，GeomDR 可以显著加速泛化，在某些情况下比标准的 AdamW 训练提高了 52 倍，并且在不同的网络架构和任务中都有效。
-
新的审计工具揭示表示压缩在神经网络中滞后于泛化
开发了一个新的审计工具来分析神经网络中的“grokking”现象，特别是检查泛化后表示的压缩情况。该工具显示，对于模运算任务，嵌入压缩在泛化后可以持续数万步，显著高估了收敛值。研究表明，在 transformer 中添加 LayerNorm 可以减少 grokking 阶段的压缩程度。
-
新研究揭示权重方向而非幅度携带可迁移的电路身份在神经网络中
研究人员开发了一种名为跨轨迹嵌合体干预的新方法，用于研究神经网络中学习到的特征的可移植性。通过将权重向量分解为幅度和方向分量，并在独立训练的网络之间重新组合它们，他们发现权重的方向携带可迁移的电路身份，而幅度则具有更有限的、分布式的效果。这表明权重方向决定了网络接近的具体解决方案及其被覆盖的敏感性。
-
研究将AI涌现延迟与表征结构形成联系起来
研究人员调查了涌现现象，即模型在完全记住训练数据后很长一段时间内仍然能够泛化。通过对单层Transformer的实验，他们因果性地证明了涌现发生所需的时间直接与任务特定表征结构的形成有关。注入与真实任务结构相关的先验显著加速了涌现，而错误或随机的结构则延迟甚至完全阻止了涌现，这表明模型的内部表征是理解这种延迟的关键。
-
机器学习中的“grokking”现象需要打破数据对称性来实现泛化
研究人员调查了机器学习中的“grokking”现象，即模型在训练中达到高准确率，但直到很久以后才能泛化到新数据。他们使用递归特征机（RFM）算法在代数任务上进行研究，发现泛化取决于打破训练数据集中特定的对称性。RFM算法似乎通过恢复数据中固有的不变性群作用来实现这一点，学习到的特征矩阵编码了该不变性群的元素，从而解释了对称性与泛化之间的联系。
-
研究：可寻址内存对 AI 编辑传播至关重要，而不仅仅是学习
一篇新研究论文探讨了神经网络如何学习和保留信息，区分了“领悟”（grokking）和“编辑传播”（edit propagation）。研究发现，无论是通过循环递归还是内存重读，重复共享访问足以使模型实现“领悟”——一种跨越分布外障碍的学习形式。然而，在模型知识中传播事实性编辑的能力，关键在于是否存在可寻址内存，而不仅仅是递归计算。
-
研究发现 Transformer 的 grokking 延迟与解码器瓶颈有关
一篇新的研究论文探讨了 Transformer 中的“grokking”现象，即模型在算法任务训练过程中，经过长时间延迟后会突然泛化。研究表明，这种延迟源于对学习到的结构的访问受限，而不是无法获取它们。通过分析一步科拉兹预测，研究人员发现，虽然编码器能快速学习到相关结构，但解码器瓶颈延长了泛化阶段。移植训练好的编码器或冻结编码器并重新训练解码器等干预措施显著加速了学习并提高了准确性，数字表征也起着至关重要的作用。
-
权重范数在神经网络 Grokking 中的作用得到阐明
研究人员调查了神经网络中“Grokking”现象，即模型从记忆转向泛化。他们的发现表明，先前被认为是这种转变主要驱动因素的权重范数，主要充当 Logit 尺度的上游控制。通过直接操纵 Logit 尺度，研究人员可以控制 Grokking 延迟的整个范围，而权重范数仅产生微小的附加效应。发现这种关系取决于所使用的损失函数，均方误差显示出与交叉熵不同的机制。
-
新理论通过 L2 相变解释深度神经网络中的领悟现象
研究人员开发了一种新理论，解释了深度神经网络中“领悟”（grokking）现象，即模型在过拟合一段时间后突然开始泛化。这项发表在 arXiv 上的研究提出，领悟与一阶 L2 相变中的滞后现象有关。通过故意将模型困在亚稳态，研究人员证明了 SGD 噪声可以驱动它们越过能量壁垒，从而产生遵循阿伦尼乌斯缩放的逃逸时间，进而重现了领悟曲线。
-
神经网络“领悟”与权重范数动力学相关
研究人员调查了神经网络中“领悟”（grokking）现象，即模型在已拟合训练数据后仍发生泛化。他们的研究表明，权重范数在此延迟泛化中起着关键作用。通过在训练过程中干预和操纵权重范数，他们发现了一个始终达到的特定临界范数值 Wc，并且该值与网络的模块化基数呈幂律关系。此外，他们观察到将范数保持在 Wc 的固定倍数，会导致“领悟”延迟呈范数倍数的指数关系。
-
新指标预测 Transformer 的“领悟”现象
一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，该指标旨在预测 Transformer 模型中“领悟”（grokking）现象。领悟现象的特点是模型在一段时间表现不佳后，其泛化能力突然得到提升。研究表明，FSD 指标在各种配置下，始终能在训练步骤的数百到数千步之前预测到领悟现象的发生。该研究还提供了因果证据，表明领悟的时间点可以通过权重衰减等正则化技术来影响，这表明领悟是一种正则化形式，并且可以被加速。
-
新指标预测 Transformer 的“领悟”现象
一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，用于衡量 Grokking Transformer 中傅里叶电路的同步性。该指标在实际发生领悟事件前数百到数千步的同步过程中，能够持续预测领悟现象——即 Transformer 模型在模算术任务上的准确性迅速提高的现象。研究还提供了因果证据，表明可以通过调整权重衰减来控制领悟的时间，证明了衰减率与领悟速度之间存在可预测的关系。
-
两个训练时钟理论解释Grokking现象
研究人员开发了一个理论框架来解释机器学习中的“Grokking”现象，即模型以不同速率拟合训练数据和学习可泛化规则。他们提出了“两个训练时钟”的概念，以区分分类损失的快速下降和模型内部表征的缓慢简化。该理论最初在深度线性网络中得到验证，然后扩展到解释ReLU MLP中类似的行为，表明存在一个两阶段学习过程，其中分类器首先适应，然后进行表征优化。
-
新论文通过谱几何分析神经网络的“领悟”现象
两篇新的arXiv论文探讨了神经网络中“领悟”（grokking）现象，即模型在记忆训练数据后才能泛化。其中一篇论文提出“低秩衰减”（Low-Rank Decay, LRD）作为谱正则化器，通过压缩奇异值来改善领悟，并表明它可以加速秩崩溃并扩大泛化能力的数据分数边界。另一篇论文将领悟视为一个约束优化问题，证明了梯度下降在零损失流形上最小化权重范数，并推导出了记忆后动力学的闭式表达式。
-
研究人员探索岭回归中的“领悟”现象
三篇新研究论文探讨了机器学习中的“领悟”（grokking）概念，特别是在岭回归的背景下。其中一篇论文提出了一种寻找最优正则化强度的数值程序，展示了接近最优的泛化能力。另一篇论文为使用梯度下降和权重衰减训练的线性模型中的领悟现象提供了理论证明，认为这是一种训练条件而非根本性缺陷。第三篇论文将物理学中的随机重置与岭回归联系起来，展示了重置到原点如何复制岭估计量，并探索了具有不同更新规律的替代谱滤波器。