Achyuthan Sivasankar

新指标预测 Transformer 的“领悟”现象

一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，该指标旨在预测 Transformer 模型中“领悟”（grokking）现象。领悟现象的特点是模型在一段时间表现不佳后，其泛化能力突然得到提升。研究表明，FSD 指标在各种配置下，始终能在训练步骤的数百到数千步之前预测到领悟现象的发生。该研究还提供了因果证据，表明领悟的时间点可以通过权重衰减等正则化技术来影响，这表明领悟是一种正则化形式，并且可以被加速。