研究人员分析 $\ell_2$-Boosting 在良性过拟合中的 $\ell_1$ 隐式偏差

研究人员在高维风险背景下分析了 $\ell_2$-Boosting 的 $\ell_1$ 隐式偏差，在纯噪声模型下识别出过剩方差衰减的对数速率。这种良性过拟合以线性速率失效的现象归因于贪婪选择将噪声局部化到稀疏激活集中。研究还发现，对于带尖端的各向同性设计，与 $\ell_2$ 几何相比，风险收敛到零的速率较慢，呈对数速率。为解决此问题，提出了一种无调优的提前停止规则，该规则可以恢复 Lasso 基本不等式，并为 $\ell_1$ 有界信号实现 minimax 最优的经验预测率。 AI

影响 为 Boosting 算法的行为及其在高维环境中对信号-噪声分解的影响提供了理论见解。

排序理由 这是一篇发表在 arXiv 上的理论计算机科学论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Convex Gaussian Minimax Theorem
• $\\ell_1$
• $\\ell_2$-Boosting
• Lasso

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →