Grokking Transformers

新指标预测 Transformer 的“领悟”现象

一篇新的研究论文介绍了一种名为“频率同步度”（FSD）的指标，用于衡量 Grokking Transformer 中傅里叶电路的同步性。该指标在实际发生领悟事件前数百到数千步的同步过程中，能够持续预测领悟现象——即 Transformer 模型在模算术任务上的准确性迅速提高的现象。研究还提供了因果证据，表明可以通过调整权重衰减来控制领悟的时间，证明了衰减率与领悟速度之间存在可预测的关系。