Benign overfitting in linear regression
PulseAugur coverage of Benign overfitting in linear regression — every cluster mentioning Benign overfitting in linear regression across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
研究发现：机器学习中的良性过拟合未能预测股权回报
一篇新的arXiv论文探讨了“良性过拟合”在股权回报预测中的现象。研究表明，尽管高度过参数化的机器学习模型可以有效地插值训练数据，但与更简单的基准相比，它们在股权回报预测方面并未产生更高的预测能力。研究观察到无脊模型中存在双下降模式，并发现最优脊模型在高参数-观测比下仅比无脊模型有微不足道的改进。最终，这两种先进模型都未能跑赢基本的历史平均值，这表明即使在复杂的机器学习架构中，标准的股权预测器也缺乏真正的预测能力。
-
新研究探讨带偏置项的线性分类器中的良性过拟合
研究人员 Yuta Kondo 和 Hashimoto 等人扩展了对线性回归模型中良性过拟合的分析。他们的工作现在包括带偏置项的分类器，这是先前类似研究中排除的一个特征。发现添加截距项会扰乱噪声的格拉姆矩阵，引入影响泛化能力的新约束。这些约束的影响因噪声的协方差而异，其中标签噪声的影响最强。
-
新研究发现扩散模型规避良性过拟合 · 跟踪2个来源
一项新的研究论文挑战了深度学习（尤其是在扩散模型中）泛化能力的普遍理解。该研究表明，在典型条件下，良性过拟合（一种在传统深度学习中过拟合有助于泛化的现象）在扩散模型中并不发生。研究人员发现，除非样本量随数据维度呈指数增长，否则过拟合和良好的泛化能力是互斥的，从而导致经典的U形损失曲线，而不是双下降。该论文指出了回归和分数匹配之间的关键差异，表明过拟合对分数匹配有害，并强调了时间平滑和提前停止的隐式正则化是防止扩散模型过拟合的因素。
-
新研究探讨过参数化模型中的良性过拟合
一篇新研究论文探讨了过参数化统计模型中良性过拟合的现象，重点关注普通最小二乘（OLS）插值器。该研究为最小 $\ell_2$-范数 OLS 插值器推导了新的代数和统计结果，将重点从预测风险转移到参数估计和推断。主要贡献包括已建立的统计公式的过参数化类似物以及方差估计的分析，为理解过参数化线性模型中的参数估计提供了框架。
-
大型维度下的谱算法揭示了三种学习曲线模式
一篇新发表在arXiv上的研究论文探讨了大型维度设置下谱算法的学习曲线和良性过拟合现象。该研究描述了不同正则化路径下的超额风险，确定了三种不同的模式：过度正则化、欠正则化和插值。在与回归函数平滑度相关的特定条件下，良性过拟合发生在后两种模式中。