PulseAugur
中
实时 11:42:15
English(EN) Double Descent in Gradient Boosting Decision Trees via Split-Candidate Scaling

新的“分裂候选缩放”参数揭示了梯度提升决策树中的双重下降现象

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员为梯度提升决策树（GBDTs）识别出了一种新的容量参数，称为分裂候选缩放（split-candidate scaling），该参数可能导致一种称为双重下降（double descent）的现象。与神经网络不同，GBDTs一直缺乏一个清晰的单轴容量参数。这种新方法涉及调整分裂候选的数量，从而细化特征量化网格并扩展用于提升更新的可用路径。使用XGBoost、LightGBM和Catboost进行的实验表明，增加分裂候选的数量会导致测试误差达到峰值然后下降，这种行为在随机森林中并未观察到。 AI

影响 引入了一个新的理论框架来理解GBDT的容量，有望改进模型调优和性能。

排序理由 该集群描述了一篇新发表在arXiv上的研究论文，详细介绍了梯度提升决策树的一种新颖的理论发现和实证分析。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的“分裂候选缩放”参数揭示了梯度提升决策树中的双重下降现象

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Ryuichi Kanoh ·

    Double Descent in Gradient Boosting Decision Trees via Split-Candidate Scaling

    arXiv:2608.03111v1 Announce Type: new Abstract: Double descent is commonly studied by scaling an explicit capacity parameter, such as neural-network width. For gradient boosting decision trees (GBDTs), however, an analogous single-axis capacity parameter has not been established.…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    Double Descent in Gradient Boosting Decision Trees via Split-Candidate Scaling

    Double descent is commonly studied by scaling an explicit capacity parameter, such as neural-network width. For gradient boosting decision trees (GBDTs), however, an analogous single-axis capacity parameter has not been established. We propose the number of split candidates as an…

相关实体

相关话题