Gradient Boosting Decision Trees
PulseAugur coverage of Gradient Boosting Decision Trees — every cluster mentioning Gradient Boosting Decision Trees across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的“分裂候选缩放”参数揭示了梯度提升决策树中的双重下降现象
研究人员为梯度提升决策树（GBDTs）识别出了一种新的容量参数，称为分裂候选缩放（split-candidate scaling），该参数可能导致一种称为双重下降（double descent）的现象。与神经网络不同，GBDTs一直缺乏一个清晰的单轴容量参数。这种新方法涉及调整分裂候选的数量，从而细化特征量化网格并扩展用于提升更新的可用路径。使用XGBoost、LightGBM和Catboost进行的实验表明，增加分裂候选的数量会导致…
-
从早期内部状态预测LLM的可控性
研究人员开发了一种方法，可以通过激活引导来预测控制大型语言模型（LLM）的成功率。通过在生成过程早期分析模型的内部状态，他们可以预测引导干预是否有效。该方法使用梯度提升决策树分类器，在未见过概念上实现了0.7的宏F1分数，并能以降低的计算成本优化引导强度。
-
新方法从早期解码状态预测LLM的可控性
研究人员开发了一种方法，利用早期解码状态来预测大型语言模型（LLM）的可控性。该方法采用梯度提升决策树（GBDT）分类器，该分类器在从隐藏状态提取的特征上进行训练，宏观F1分数约为0.7。该预测器无需完成完整的生成过程即可识别欠控制、成功或过控制。然后利用此能力优化控制强度搜索，显著降低计算成本，同时保持接近最优的性能。
-
新的GBDT训练方法隐藏记录ID以增强隐私
研究人员开发了一种在垂直划分数据上训练梯度提升决策树（GBDTs）的新方法，同时保护记录标识符的匿名性。该方法解决了现有依赖私有集合交集（PSI）的方法存在的安全漏洞，这些方法可能会无意中暴露共享ID。提出的协议使用双电路PSI设计和不可知可编程伪随机函数，实现安全的、隐藏ID的聚合，为金融和医疗保健等领域的敏感数据分析提供了更高效、更私密的解决方案。