boosting
PulseAugur coverage of boosting — every cluster mentioning boosting across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Mentored Decoding：机器学习增强理论提升LLM推理速度与质量
研究人员推出了一种名为“Mentored Decoding”的新方法，该方法通过借鉴机器学习增强理论来提高语言模型的推理速度和质量。该方法正式定义了有损推测解码，允许偏离目标模型以提高速度，同时可能提高输出质量。论文详细介绍了Mentored Decoding的关键特性，包括其在特定情况下的几何性质以及用于参数查询和分布构建的高效数据结构。
-
新的斐波那契集成方法增强了机器学习聚合
研究人员引入了一种新颖的集成学习方法，称为斐波那契集成，其灵感来源于斐波那契数列和黄金比例的数学特性。该方法通过采用归一化的斐波那契权重来减少基学习器之间的方差，为装袋法（bagging）和提升法（boosting）等传统方法提供了一种替代方案。该框架还包含二阶递归集成动态，旨在增强表示深度。使用随机傅里叶特征和多项式集成的二维回归任务的初步实验表明，斐波那契加权可以媲美或优于均匀平均，并能有效地与正交Rao-Blackwelliza…
-
经典机器学习模型在表格数据上表现出幂律缩放
一项新近发表在arXiv上的研究对经典机器学习模型在表格数据上的表现进行了基准测试，结果表明幂律能够准确描述各种数据集和模型家族的学习曲线。研究发现，在分类任务中，树集成模型（特别是Boosting和Random Forest）在完整数据上表现最佳。值得注意的是，模型家族内的指数表现出近似的共同特征，这表明在一定程度上存在可预测的压缩性，尽管并非普遍适用。研究还强调，即使在固定的随机状态下，实现结果也存在显著差异，这表明了预处理和缺失…
-
新框架通过稀疏装袋压缩集成模型
一篇新的研究论文介绍了一种名为 Simplex-Constrained Sparse Bagging (SCSB) 的新颖框架，该框架旨在压缩和校准基于自举法的装袋集成。SCSB 通过优化以减少袋外 (OOB) 损失来解决标准装袋方法的局限性，从而根据基础估计器的局部能力为其分配不同的投票权重。这种方法可以实现显著的集成压缩，最高可达 96%，从而在不牺牲泛化准确性的情况下提高推理速度并改善概率校准。