GeomDR

新技术将神经网络泛化速度提高了 52 倍

研究人员推出了一种名为几何维度正则化（GeomDR）的新技术，用于影响神经网络中的“grokking”现象。Grokking 指的是模型在初始阶段记忆数据，然后才泛化，这一过程尚不明确。这篇 arXiv 论文详细介绍了这种新方法，它利用谱正则化在训练过程中改变隐藏表示的维度。实验表明，GeomDR 可以显著加速泛化，在某些情况下比标准的 AdamW 训练提高了 52 倍，并且在不同的网络架构和任务中都有效。