新研究揭示了 Gradient Boosting Decision Trees 中的双下降现象

研究人员为梯度提升决策树 (GBDT) 识别出了一种新的容量参数，称为分裂候选缩放 (split-candidate scaling)，它会影响模型的学习方式。通过分析分裂候选的数量，他们观察到了双下降现象，即随着分裂候选预算的增长，测试误差最初会增加然后减少。这种行为在 XGBoost、LightGBM 和 CatBoost 等流行的 GBDT 实现中均有发现，但在随机森林中未出现，这表明了提升动力学的独特特征。 AI

影响 这项研究为理解梯度提升决策树的行为提供了一个新的理论视角，有望带来模型调优和性能的提升。

排序理由 关于机器学习模型理论方面的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• Catboost
• double descent
• Gradient Boosting Decision Trees
• LightGBM
• random forest
• XGBoost

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →