Random Matrix Theory

随机矩阵理论检测神经网络和大型语言模型中的过拟合

研究人员开发了一种新颖的方法，使用随机矩阵理论来检测神经网络中的过拟合，特别是在长时程训练的“反领悟”阶段。该技术通过分析随机权重矩阵中与Marchenko-Pastur分布的偏差来识别模型层中的“相关性陷阱”。研究发现，随着测试准确率下降而训练准确率保持高位，这些陷阱会增加，重要的是，一些大型语言模型也表现出类似的陷阱，这表明可能存在有害的过拟合。