Marcel Tomas Bernal

机器学习中的“grokking”现象需要打破数据对称性来实现泛化

研究人员调查了机器学习中的“grokking”现象，即模型在训练中达到高准确率，但直到很久以后才能泛化到新数据。他们使用递归特征机（RFM）算法在代数任务上进行研究，发现泛化取决于打破训练数据集中特定的对称性。RFM算法似乎通过恢复数据中固有的不变性群作用来实现这一点，学习到的特征矩阵编码了该不变性群的元素，从而解释了对称性与泛化之间的联系。