Benign Misfitting

研究论文详述线性回归模型中的“良性拟合不良”现象

一篇新的研究论文探讨了线性回归模型中“良性拟合不良”的现象，即在训练数据上表现不佳的模型仍然可以很好地泛化到新的、未见过的数据。这种情况发生在一个特定的区域，其中训练集的大小远大于维度数量，但小于直接插值所需的数量。研究表明，即使在经验训练误差很高的情况下，诸如随机梯度下降（SGD）之类的方法也可以在此预测的“第四象限”中实现较低的测试误差。