Convex Gaussian Minimax Theorem

研究人员分析 $\ell_2$-Boosting 在良性过拟合中的 $\ell_1$ 隐式偏差

研究人员在高维风险背景下分析了 $\ell_2$-Boosting 的 $\ell_1$ 隐式偏差，在纯噪声模型下识别出过剩方差衰减的对数速率。这种良性过拟合以线性速率失效的现象归因于贪婪选择将噪声局部化到稀疏激活集中。研究还发现，对于带尖端的各向同性设计，与 $\ell_2$ 几何相比，风险收敛到零的速率较慢，呈对数速率。为解决此问题，提出了一种无调优的提前停止规则，该规则可以恢复 Lasso 基本不等式，并为 $\ell_1$ 有…