logit scale

权重范数在神经网络 Grokking 中的作用得到阐明

研究人员调查了神经网络中“Grokking”现象，即模型从记忆转向泛化。他们的发现表明，先前被认为是这种转变主要驱动因素的权重范数，主要充当 Logit 尺度的上游控制。通过直接操纵 Logit 尺度，研究人员可以控制 Grokking 延迟的整个范围，而权重范数仅产生微小的附加效应。发现这种关系取决于所使用的损失函数，均方误差显示出与交叉熵不同的机制。