all-zero predictor

新理论解释机器学习模型中的“Grokking”现象

研究人员开发了一种统计理论来解释“Grokking”现象，即模型在与训练数据拟合的阶段之外学习底层信号。该理论描述了正则化几何和信号稀疏性如何影响插值附近的泛化能力，尤其是在高维回归中。在对角线性网络和Transformer上的实验证明了该理论的预测，揭示了最小范数插值中存在的统计不稳定性，其中正则化强度的小变化可能导致泛化能力显著不同，同时保持较低的训练误差。