grokking
PulseAugur coverage of grokking — every cluster mentioning grokking across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
新的审计工具揭示表示压缩在神经网络中滞后于泛化
开发了一个新的审计工具来分析神经网络中的“grokking”现象，特别是检查泛化后表示的压缩情况。该工具显示，对于模运算任务，嵌入压缩在泛化后可以持续数万步，显著高估了收敛值。研究表明，在 transformer 中添加 LayerNorm 可以减少 grokking 阶段的压缩程度。
-
新研究揭示权重方向而非幅度携带可迁移的电路身份在神经网络中
研究人员开发了一种名为跨轨迹嵌合体干预的新方法，用于研究神经网络中学习到的特征的可移植性。通过将权重向量分解为幅度和方向分量，并在独立训练的网络之间重新组合它们，他们发现权重的方向携带可迁移的电路身份，而幅度则具有更有限的、分布式的效果。这表明权重方向决定了网络接近的具体解决方案及其被覆盖的敏感性。
-
研究将AI涌现延迟与表征结构形成联系起来
研究人员调查了涌现现象，即模型在完全记住训练数据后很长一段时间内仍然能够泛化。通过对单层Transformer的实验，他们因果性地证明了涌现发生所需的时间直接与任务特定表征结构的形成有关。注入与真实任务结构相关的先验显著加速了涌现，而错误或随机的结构则延迟甚至完全阻止了涌现，这表明模型的内部表征是理解这种延迟的关键。
-
机器学习中的“grokking”现象需要打破数据对称性来实现泛化
研究人员调查了机器学习中的“grokking”现象，即模型在训练中达到高准确率，但直到很久以后才能泛化到新数据。他们使用递归特征机（RFM）算法在代数任务上进行研究，发现泛化取决于打破训练数据集中特定的对称性。RFM算法似乎通过恢复数据中固有的不变性群作用来实现这一点，学习到的特征矩阵编码了该不变性群的元素，从而解释了对称性与泛化之间的联系。
-
研究：可寻址内存对 AI 编辑传播至关重要，而不仅仅是学习
一篇新研究论文探讨了神经网络如何学习和保留信息，区分了“领悟”（grokking）和“编辑传播”（edit propagation）。研究发现，无论是通过循环递归还是内存重读，重复共享访问足以使模型实现“领悟”——一种跨越分布外障碍的学习形式。然而，在模型知识中传播事实性编辑的能力，关键在于是否存在可寻址内存，而不仅仅是递归计算。
-
研究发现 Transformer 的 grokking 延迟与解码器瓶颈有关
一篇新的研究论文探讨了 Transformer 中的“grokking”现象，即模型在算法任务训练过程中，经过长时间延迟后会突然泛化。研究表明，这种延迟源于对学习到的结构的访问受限，而不是无法获取它们。通过分析一步科拉兹预测，研究人员发现，虽然编码器能快速学习到相关结构，但解码器瓶颈延长了泛化阶段。移植训练好的编码器或冻结编码器并重新训练解码器等干预措施显著加速了学习并提高了准确性，数字表征也起着至关重要的作用。
-
权重范数在神经网络 Grokking 中的作用得到阐明
研究人员调查了神经网络中“Grokking”现象，即模型从记忆转向泛化。他们的发现表明，先前被认为是这种转变主要驱动因素的权重范数，主要充当 Logit 尺度的上游控制。通过直接操纵 Logit 尺度，研究人员可以控制 Grokking 延迟的整个范围，而权重范数仅产生微小的附加效应。发现这种关系取决于所使用的损失函数，均方误差显示出与交叉熵不同的机制。
-
新理论通过 L2 相变解释深度神经网络中的领悟现象
研究人员开发了一种新理论，解释了深度神经网络中“领悟”（grokking）现象，即模型在过拟合一段时间后突然开始泛化。这项发表在 arXiv 上的研究提出，领悟与一阶 L2 相变中的滞后现象有关。通过故意将模型困在亚稳态，研究人员证明了 SGD 噪声可以驱动它们越过能量壁垒，从而产生遵循阿伦尼乌斯缩放的逃逸时间，进而重现了领悟曲线。
-
神经网络“领悟”与权重范数动力学相关
研究人员调查了神经网络中“领悟”（grokking）现象，即模型在已拟合训练数据后仍发生泛化。他们的研究表明，权重范数在此延迟泛化中起着关键作用。通过在训练过程中干预和操纵权重范数，他们发现了一个始终达到的特定临界范数值 Wc，并且该值与网络的模块化基数呈幂律关系。此外，他们观察到将范数保持在 Wc 的固定倍数，会导致“领悟”延迟呈范数倍数的指数关系。
-
新指标预测 Transformer 的“领悟”现象
一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，该指标旨在预测 Transformer 模型中“领悟”（grokking）现象。领悟现象的特点是模型在一段时间表现不佳后，其泛化能力突然得到提升。研究表明，FSD 指标在各种配置下，始终能在训练步骤的数百到数千步之前预测到领悟现象的发生。该研究还提供了因果证据，表明领悟的时间点可以通过权重衰减等正则化技术来影响，这表明领悟是一种正则化形式，并且可以被加速。
-
新指标预测 Transformer 的“领悟”现象
一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，用于衡量 Grokking Transformer 中傅里叶电路的同步性。该指标在实际发生领悟事件前数百到数千步的同步过程中，能够持续预测领悟现象——即 Transformer 模型在模算术任务上的准确性迅速提高的现象。研究还提供了因果证据，表明可以通过调整权重衰减来控制领悟的时间，证明了衰减率与领悟速度之间存在可预测的关系。
-
两个训练时钟理论解释Grokking现象
研究人员开发了一个理论框架来解释机器学习中的“Grokking”现象，即模型以不同速率拟合训练数据和学习可泛化规则。他们提出了“两个训练时钟”的概念，以区分分类损失的快速下降和模型内部表征的缓慢简化。该理论最初在深度线性网络中得到验证，然后扩展到解释ReLU MLP中类似的行为，表明存在一个两阶段学习过程，其中分类器首先适应，然后进行表征优化。
-
新论文通过谱几何分析神经网络的“领悟”现象
两篇新的arXiv论文探讨了神经网络中“领悟”（grokking）现象，即模型在记忆训练数据后才能泛化。其中一篇论文提出“低秩衰减”（Low-Rank Decay, LRD）作为谱正则化器，通过压缩奇异值来改善领悟，并表明它可以加速秩崩溃并扩大泛化能力的数据分数边界。另一篇论文将领悟视为一个约束优化问题，证明了梯度下降在零损失流形上最小化权重范数，并推导出了记忆后动力学的闭式表达式。
-
研究人员探索岭回归中的“领悟”现象
三篇新研究论文探讨了机器学习中的“领悟”（grokking）概念，特别是在岭回归的背景下。其中一篇论文提出了一种寻找最优正则化强度的数值程序，展示了接近最优的泛化能力。另一篇论文为使用梯度下降和权重衰减训练的线性模型中的领悟现象提供了理论证明，认为这是一种训练条件而非根本性缺陷。第三篇论文将物理学中的随机重置与岭回归联系起来，展示了重置到原点如何复制岭估计量，并探索了具有不同更新规律的替代谱滤波器。
-
新框架解码深度学习现象：Grokking 和双重下降
研究人员开发了一个新框架来分析和解释深度神经网络中复杂的学习动态，特别是关注 Grokking 和双重下降等现象。该框架将学习分解为两个竞争过程：编码器内部的表示学习和最终分类器的读出校准。通过应用这种分解，该研究提供了对泛化的更细致的理解，区分了真实和虚假的改进，并为可解释性研究提供了诊断工具。
-
权重衰减控制 Transformer 训练机制，揭示新的诊断方法
研究人员发现，在模块化算术任务上，权重衰减是控制 Transformer 训练机制的关键参数。他们引入了两种新的、低成本的在线诊断方法——平均成对注意力头余弦相似度和熵标准差——以监测注意力激活的训练动态。这些诊断方法应用于各种实验条件和模型规模，能有效区分记忆、泛化（grokking）和崩溃，并确定了记忆到发展的边界的具体过渡点。
-
奇异学习理论为人工智能模型过拟合的涌现提供了新视角
研究人员探讨了“过拟合”（grokking）现象，即机器学习模型在长时间训练后突然从记忆转向泛化。利用奇异学习理论（SLT），他们提出过拟合涉及不同解盆地之间的转换，较低的局部学习系数（LLCs）表明有利于泛化的盆地。该研究推导了浅层二次网络的LLC解析公式，并表明估计的LLC轨迹可以有效地跟踪训练过程中泛化的开始。
-
拓扑研究揭示神经网络的 grokking 信号和架构绕过方法
研究人员正在探索神经网络中的“grokking”现象，即模型在开始泛化之前会先记住数据。一项研究提出修改架构拓扑，例如强制执行球形约束或使用均匀注意力，以绕过记忆阶段并加速泛化。另一篇论文利用持久同调来识别一个独特的拓扑信号——同调性的急剧增加——标志着向泛化过渡，为分析表示学习提供了一个新框架。
-
AdamW风格Shampoo的收敛率分析：统一单边和双边预处理
一项名为“范数分离延迟定律”的新理论解释了“grokking”现象，即模型在记忆训练数据后仍能泛化。研究人员证明了grokking是由范数驱动的表征相变，并建立了延迟与权重衰减和学习率等因素之间的数学关系。这项工作将grokking重新定义为范数分离的可预测结果，并提供了一种预测grokking延迟的算法。