tabular foundation models
PulseAugur coverage of tabular foundation models — every cluster mentioning tabular foundation models across labs, papers, and developer communities, ranked by signal.
- 2026-05-18 research_milestone A new paper details a method for distilling tabular foundation models for structured health data. 来源
7 天有情绪数据
-
表格基础模型:探索缩放定律与训练效率
一篇新的研究论文探讨了表格基础模型(TFMs)的概念,其目标是实现跨各种表格数据集的泛化学习,而不是为每个数据集训练一个新模型。该研究调查了TabPFNv2风格模型的缩放定律的可靠性,发现基于有限的评估数据,性能估计可能过于乐观。研究表明,优化TFMs的计算需要同时扩展预训练数据集的大小、模型大小和训练计算量,从而带来更可预测的缩放趋势和更高的效率,这已通过开源的nanoTabPFN管道得到证明。
-
新的MSPA方法提高了植物光谱学的准确性和推理速度
研究人员开发了形态光谱投影分析 (MSPA),这是一种新颖的植物光谱学监督降维技术。MSPA将光谱数据投影到一个紧凑的子空间中,在基准测试中分别优于全光谱分析和传统方法92%和90%。该方法显著提高了预测建模的准确性,将全局平均宏F1分数从0.7756提高到0.8520,并将推理速度提高了126.5倍。开源MSPA代码可在GitHub上获取,以便集成到现有的光谱学工作流程中。
-
TabBioMed 基准测试规范了生物医学表格学习的评估
研究人员推出了 TabBioMed,这是一个全面的基准测试,旨在规范机器学习模型在生物医学表格数据上的评估。该基准测试包含 94 个精选数据集,涵盖电子健康记录、药物发现和各种组学领域。研究评估了 23 个模型,发现虽然表格基础模型通常提供最强的预测性能,但梯度提升树和多层感知机等传统方法仍然具有竞争力,尤其是在计算资源有限的情况下。
-
Databricks 在 AI Runtime 上推出表格基础模型
Databricks 推出了与 Databricks AI Runtime 集成的表格基础模型 (TFMs)。这些预训练模型无需进行特定任务的训练即可对新数据集进行预测,从而显著加速预测性机器学习实验。Databricks AI Runtime 提供托管 GPU、MLflow 跟踪和 Unity Catalog 集成,以促进这些 TFM 的实验和微调,解决了此前阻碍其企业采用的计算基础设施挑战。
-
Google Research 的 TabFM 在金融预测方面优于 LLM
研究人员推出表格基础模型(TFMs)作为一种有前途的金融预测新工具,特别是在预测公司下一年的收益变化方面。由 Google Research 开发的一个名为 TabFM 的 TFM 在基准测试中,其准确性优于经过微调的大型语言模型和传统的基于树的模型。虽然 TabFM 比大型语言模型更快、计算量更少,但一些基于树的模型提供了更快的预测速度,这在速度和准确性之间存在权衡。
-
基础模型在因果效应推断方面存在困难,尽管预测准确率很高
一项对时间序列数据基础模型的新评估揭示了预测准确性与因果推断能力之间存在关键脱节。研究发现,擅长预测未来销售额的模型不一定能提供关于销售额如何响应价格调整等变化的准确见解。此外,虽然增加更多上下文改善了预测性能,但并未提高因果效应估计的准确性。研究还强调,像工具变量估计这样的传统计量经济学方法仅在特定条件下才能产生正确结果,并且在应用不当时甚至会加剧错误。
-
新研究探讨表格基础模型的高效数据标注
一篇新研究论文介绍了一种用于表格基础模型(TFMs)的活跃上下文学习技术。该研究题为“When, Where, How: Active In-Context Learning for Tabular Foundation Models”,探讨了如何为TFMs高效获取标注数据,TFMs根据其上下文中的标注行来适应任务。研究强调,在初始阶段,基于多样性的获取最为有效,而在关注与目标输入相关的行则能显著提高性能。所提出的上下文预期预测信息增…
-
MulTaBench 基准测试通过文本和图像推进多模态表格学习
研究人员推出了 MulTaBench,这是一个旨在评估多模态表格学习的新基准。多模态表格学习将文本和图像数据与结构化表格相结合。该基准包含 40 个数据集,专注于这些不同模态提供互补预测信号的任务。MulTaBench 旨在通过支持研究能够联合建模和针对特定任务调整表示的架构,超越通用嵌入,从而推进多模态表格基础模型的发展。
-
使用基础模型将状态估计构建为上下文内表格预测
研究人员提出了一种新颖的状态估计方法,将其构建为上下文内表格预测问题。该方法利用预训练的表格基础模型,其权重被冻结,仅需要历史数据作为上下文,而无需重新训练。与加权最小二乘等传统方法相比,该技术在低可观测性和数据损坏的情况下表现出显著的改进。与现有的专用工具如 DSS$^2$ 和 TAPINE 相比,它也表现出具有竞争力或更优的性能,而无需进行模型更新。
-
新的MICE方法解决了表格基础模型中的概念漂移问题
研究人员开发了MICE(上下文专家混合模型),一种新颖的、无需训练的表格基础模型(TFMs)方法,用于处理数据流。MICE通过分割数据并决定是恢复存储的上下文还是从新标签中重学,来解决循环概念漂移的挑战。该系统使用一个快速层来加权存储的上下文,以及一个慢速层来组合预测,旨在与重置上下文等更简单的方法相比,提高准确性并减少遗憾。
-
LLM智能体RelAgent作为关系学习的自主数据科学家
研究人员推出RelAgent,这是一个基于LLM的自主数据科学家,专为关系学习任务设计。该系统分两个阶段运行:搜索阶段,LLM智能体使用各种工具构建SQL特征程序并选择预测模型;推理阶段,生成的程序在没有进一步LLM干预的情况下执行。最终的预测器由SQL查询和经典模型组成,提供快速、确定且可解释的预测,可在标准数据库系统上部署。
-
新的基础模型和基准推动表格数据生成和分析的进步
研究人员推出了一些用于表格数据生成和分析的新基础模型和技术。TabFORGE、TabMosaic 和 TabGift 是用于生成高质量合成表格数据的新模型,其中 TabFORGE 侧重于特征间的依赖关系,而 TabGift 则强调在有限上下文中的效率。TabReliBench 提供了一个新的基准,用于评估表格基础模型在简单预测准确性之外的可靠性,并揭示了模型排名可能因所使用的评估指标而异。此外,GIST 提出了一种新颖的表格基础模型监…
-
研究发现表格基础模型存在过度参数化问题,建议进行简化
一篇新的研究论文表明,使用Transformer架构的表格基础模型(TFMs)存在显著的过度参数化问题。该研究提出了一种方法,可以在不显著损失性能的情况下替换TFM中高达96%的模块,证明即使是半深度模型也能超越全深度模型。这种简化可以显著节省参数、加快推理速度并减少内存使用,同时与传统的梯度提升决策树(GBDTs)相比仍能保持竞争力。研究还强调,不同的TFM家族以不同的方式表现出过度参数化,有些严重依赖编码器,而另一些则更广泛地分配计算。
-
新研究揭示了先验数据拟合网络中的谱结构
两篇新研究论文探讨了先验数据拟合网络(PFNs)的内部机制,这是一种表格基础模型。第一篇论文提供了机械证据,表明PFNs捕获与其上下文相关的谱结构,这些结构可以被解码为高斯过程回归的显式核。第二篇论文研究了PFNs如何摊销贝叶斯推理,发现它们通常能很好地恢复目标后验预测分布,但在罕见情况下可能表现出残差误差,这可以通过贝叶斯模型平均来缓解。
-
新方法改进了表格基础模型的无训练节点分类
研究人员推出了一种新颖的无训练扩散评分方法 HG-DAPS,用于表格基础模型的节点分类。该方法使用同质性门控,仅处理上下文标签,确保预测可靠性保证完好无损。在对十个图的评估中,HG-DAPS 与具有温度缩放的 GCN 相比,显示出更低的期望校准误差,并且还减小了同质图上预测的平均集合大小。
-
新的TICDA方法归因表格基础模型中的数据影响
研究人员开发了TICDA,一种用于在表格基础模型(TFMs)的上下文中归因单个数据点影响的新颖方法。与计算成本高昂或需要模型参数更新的现有方法不同,TICDA使用在潜在嵌入上训练的线性代理模型,在单次前向传播中测量演示影响。这种方法在识别标签错误、优化准确性和效率的上下文、确保跨TFMs的分数可转移性以及支持主动学习策略方面被证明是有效的。
-
新证书揭示表格基础模型中的联合处理
研究人员在预训练表格基础模型(TFMs)的评估中发现了一个“标准化陷阱”。这个陷阱的出现是因为公共TFM包在模型处理标签之前对其进行标准化,从而掩盖了模型的真实行为。该研究提出了两种证书来检测固定权重预测和独立非线性标签转换的总和,发现改变一个上下文标签会影响其他标签如何影响预测,这种现象被称为“联合处理”。这种联合处理似乎在训练过程中发展,注意力分数在这些相互作用中起着重要作用。
-
激活对齐提升表格模型上下文学习能力
研究人员开发了一种名为激活对齐的新方法,以提高表格基础模型在上下文学习中的性能。该技术通过训练一个轻量级的线性变换,将使用有限上下文的模型的中介激活映射到使用完整上下文的模型的中介激活,从而实现匹配。这种方法允许在保持更快的推理速度(与较小的上下文相关)的同时,显著缩小与使用整个数据集的模型相比的性能差距。该方法在使用了 TabPFN-3 和 TabFM 等领先表格基础模型的 38 个数据集上显示出广泛的改进。
-
新研究推动表格基础模型实现高效和鲁棒性
多篇研究论文探讨了表格基础模型(TFMs)的进展,重点关注提高其效率、鲁棒性和适应性。知识蒸馏等技术正被用于从大型TFM创建更小、更快的学生模型,而RelICL和VIP-COP等新方法则解决了关系学习和上下文优化中的挑战。此外,研究正在探索架构选择和参数高效适应策略,以增强TFM在亚群体偏移和大规模数据集等各种数据条件下的性能。
-
新的注意力量化加速表格基础模型
研究人员为表格基础模型开发了一种新的注意力量化策略,以提高推理性能。该方法侧重于将查询、键和值量化为 FP8,并利用显式的 FP8 矩阵乘法指令。一项关键发现是,必须在训练和测试数据之间对齐量化误差,以防止精度下降。开发的 Triton 内核在标准 16 位内核上实现了高达 1.7 倍的加速,同时在 TabPFN-v3 和 TabICLv2 等模型在基准数据集上的表现没有显著的精度损失。