bifurcation theory

新理论预测神经网络中的概念涌现

研究人员开发了一种分岔理论，以更好地理解神经网络在训练过程中如何开发结构化表示。该理论引入了一种新的、无标签的度量标准，称为 beta/beta_c 比率，它可以实时预测概念的涌现。研究表明，该度量标准可以识别不同的转换状态，甚至可以解释诸如“grokking”（学习似乎被延迟）之类的现象。此外，该理论表明，早期训练动态可以预测特征的最终可解释性，从而作为训练健康状况的实际指标。