OpenML
PulseAugur coverage of OpenML — every cluster mentioning OpenML across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新的 CARSANN 方法提高了最近邻分类的准确性
研究人员开发了一种名为面向自适应最近邻分类的曲率感知半径收缩 (CARSANN) 的新方法,以提高最近邻分类的准确性。与使用固定邻域大小的传统 k-NN 不同,该框架根据数据的局部几何复杂度自适应调整每个邻域的空间范围。CARSANN 估计内在维度和局部平均曲率来控制邻域尺度,在曲率高的区域收缩半径,在平坦区域扩展半径。在 OpenML 数据集上的实验表明,CARSANN 在数据集上的平均平衡准确率显著提高,从 0.6506 提高到 …
-
新型混合模型Tydra提高了表格数据学习效率
研究人员开发了Tydra,一种结合了Transformer和状态空间模型(SSM)架构的新型混合模型,以提高表格数据上下文学习的效率。这种新架构交织了注意力机制和SSM层,解决了纯Transformer模型(如TabPFN)的二次计算成本问题,同时保持了强大的预测性能。在30个OpenML数据集上的评估显示,与TabPFN相比,Tydra的推理时间减少了30%,并且性能优于规模大得多的Hydra模型,这表明混合方法是表格基础模型的一个…
-
新流水线为表格数据填充创建专用Transformer
研究人员开发了一种新颖的预训练流水线,用于为表格缺失数据创建专门的基于Transformer的填充模型。该流水线通过简单地替换缺失模块即可生成特定模式的专家模型,而无需更改架构或训练过程。该方法在MissBench上得到了验证,MissBench是一个包含42个OpenML数据集和11种不同缺失模式的新基准,结果表明这些专家模型在其目标模式上优于已建立的基线。值得注意的是,一个名为TabImpute的默认模型,仅在MCAR数据上训练,…
-
新的 AutoML 框架使用 LLM 进化可执行的 Python 管道
研究人员开发了 LACE,一个新颖的 AutoML 框架,它利用大型语言模型作为变异算子来进化完整的可执行管道程序。与在预定义组件空间内搜索的传统 AutoML 系统不同,LACE 生成并维护一个 scikit-learn 兼容的 Python 类群。这种方法允许直接检查和编辑生成的管道。在 68 个 OpenML 分类任务上的评估表明,由 GPT-5.4-mini 驱动的 LACE,其性能显著优于 auto-sklearn、H2O …
-
新的HEB-NB方法增强了朴素贝叶斯分类器性能
研究人员开发了一种名为分层经验贝叶斯朴素贝叶斯(HEB-NB)的新方法,以提高朴素贝叶斯分类器的性能,特别是在高基数表格数据方面。与使用固定强度的传统平滑技术不同,HEB-NB能从数据中自适应地学习平滑参数,从而实现跨类别的更好信息共享。这种方法扩展到HEB平均一元依赖估计器(HEB-AODE),理论上达到了最小最大速率,并在大量基准测试中通过经验证明显著降低了对数损失并提高了校准性能。
-
新的PATH方法改进了表格数据的区间预测
研究人员开发了PATH,一种利用自回归树层次结构对表格数据进行区间预测的新颖方法。该方法模拟了区间的层次结构几何,学习概率质量如何从较大的区间流向较小的、嵌套的区间。通过将学习与提取对齐,PATH精炼了概率分布,以生成更短、更准确的预测区间。在包含56个OpenML回归数据集的PATHBench数据集上的评估中,PATH显著优于24种基线方法,实现了0.1473的平均归一化长度,同时保持了0.9144的平均覆盖率。
-
AutoML 比较缺陷曝光:Orcetra 的性能虚高被揭露
一篇新论文指出了自动化机器学习(AutoML)系统在比较中存在的重大缺陷,尤其是在短时间预算下。研究表明,一个名为 Orcetra 的系统由于协议缺陷,包括在实际测试集上进行测试以及未能强制执行时间限制,而显得比 FLAML 和 AutoGluon 等竞争对手表现更好。当通过使用验证集和强制执行外部截止日期纠正这些问题后,Orcetra 的性能优势消失了,表明最初令人印象深刻的结果被方法论错误夸大了。
-
TabPFN 上下文采样提高了在小型数据集上的准确性和稳定性
一篇新的研究论文探讨了上下文采样在 TabPFN 中的有效性,TabPFN 是一个使用上下文学习对表格数据集进行分类的模型。该研究在 15 个 OpenML 数据集上进行,发现更大的上下文大小能显著提高预测稳定性和准确性。研究人员还发现,多样性和特征空间覆盖比匹配训练数据的特征均值对准确性更关键。论文得出结论,随机采样之所以有效,是因为其固有的特征空间覆盖能力,而不是复制数据分布的能力。
-
新的正则化技术提高了AI模型的可解释性和性能
研究人员推出了一种名为局部保真度正则化(LFR)的新方法,以增强介观神经网络(IMNs)的可解释性和预测性能。LFR解决了现有IMNs中模型可能将解释性方差集中到单个权重上的漏洞,导致解释不可靠。通过使线性输出权重与局部数据变化保持一致,LFR在不牺牲准确性的情况下确保了忠实的解释。在OpenML基准套件上的实证结果表明,LFR比未正则化的IMNs提高了AUROC,并取得了与最先进的黑盒模型相媲美的性能。
-
TRL-Bench 标准化表格编码器评估
研究人员推出了 TRL-Bench,这是一个旨在标准化不同训练范式下表格编码器评估的新基准。该基准通过导出行、列或表嵌入,然后由共享的轻量级头部进行探测,从而可以直接比较模型。研究结果表明,没有一个编码器在所有任务上都表现出色,性能是特定于能力的,并且取决于表面文本信号与结构对齐等因素。
-
新方法解释局部异常因子(Local Outlier Factor)的异常值检测
研究人员开发了一种名为密度基数反事实异常值(DCFO)的新方法,用于解释为什么某些数据点被局部异常因子(LOF)算法识别为异常值。DCFO 对数据空间进行分区以实现高效优化,生成反事实解释,表明改变异常值分类所需的最小改动。在 50 个数据集上的实验表明,DCFO 在生成有效且邻近的反事实方面优于现有方法。
-
新研究探讨表格基础模型的机制与集成
两篇新研究论文深入探讨了表格基础模型(TFMs)的复杂性,分析了它们的性能和集成策略。第一篇论文提供了一项机制研究,分析了不同TFM架构在准确性上的收敛情况,并识别了它们特定的归纳偏见和失效模式。第二篇论文研究了TFMs的集成技术,揭示了多样性上限和校准陷阱,即模型组合可能产生收益递减甚至性能下降。
-
新方法解决表格基础模型中的标签偏移问题
研究人员推出了一种名为DistPFN的新方法,用于解决TabPFN等表格基础模型中的标签偏移问题。该技术通过重新加权训练数据类别分布和模型自身后验概率的影响来调整测试时的预测。一个增强版本DistPFN-T通过使用温度缩放来根据这些分布之间的差异调整调整强度,进一步完善了这一点。在大量数据集上的评估表明,在标签偏移条件下,TabPFN模型的性能显著提高,同时在标准设置下保持了性能。
-
PUICL transformer 实现无需拟合的上下文正负样本学习
研究人员开发了 PUICL,一种预训练的 transformer 模型,能够通过上下文学习执行正负样本(PU)学习。这种方法无需针对特定数据集进行训练或迭代优化,即可快速解决任务。PUICL 在合成 PU 数据集上进行了训练,在 20 个基准测试中,其 AUC 和准确性均优于四个标准的 PU 学习基线。
-
ScoringBench: A Benchmark for Evaluating Tabular Foundation Models with Proper Scoring Rules
两篇新研究论文介绍了用于更好地评估和清理表格基础模型的方法。ScoringBench 提供了一个使用恰当评分规则的综合基准,用于评估超越简单点估计的模型性能,揭示了不同指标如何导致模型排名各异。另一方面,Prior-Aligned Data Cleaning 提出了一个深度强化学习框架来清理真实世界的表格数据,解决了诸如缺失值和异常值等问题,以提高模型准确性和置信度校准。