TabICLv2
PulseAugur coverage of TabICLv2 — every cluster mentioning TabICLv2 across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
NVIDIA 发布用于表格数据预测的零训练库
NVIDIA 推出了 Structured Data Models，一个新的 PyTorch 库，提供了对表格数据的预训练基础模型的访问。该库允许用户利用上下文学习，无需任何额外训练即可进行预测。它集成了 TabICLv2 和 KumoTabular 等模型用于单个表格，以及 KumoRelational 用于关系数据库，为各种预测任务提供了统一的接口。
-
新的RT-J模型在关系数据上提供上下文高效预测
研究人员推出RT-J，这是一种新的8500万参数关系基础模型（RFM），专为表格和关系数据上的上下文高效预测而设计。与现有方法相比，该模型仅用少量示例即可实现准确的预测。RT-J通过在大量网络爬取数据库的数据集上进行预训练，并利用一种新颖的轻量级检索器来获取上下文示例，以及通过上下文调整和集成来提高性能。
-
新的关系基础模型RT-J实现了上下文高效预测
研究人员开发了RT-J，一个拥有8600万参数的关系基础模型，专为表格和关系数据上的上下文高效预测而设计。与现有方法相比，该模型需要更少的示例即可实现准确预测。RT-J在来自639个网络爬取数据库的6,023个预测任务的大型数据集上进行了预训练，利用了长上下文和一种新颖的检索机制。在关系基准任务上，该模型在匹配强大的特征工程管道方面所需的示例数量减少了10倍。
-
新的基础模型和基准推动表格数据生成和分析的进步
研究人员推出了一些用于表格数据生成和分析的新基础模型和技术。TabFORGE、TabMosaic 和 TabGift 是用于生成高质量合成表格数据的新模型，其中 TabFORGE 侧重于特征间的依赖关系，而 TabGift 则强调在有限上下文中的效率。TabReliBench 提供了一个新的基准，用于评估表格基础模型在简单预测准确性之外的可靠性，并揭示了模型排名可能因所使用的评估指标而异。此外，GIST 提出了一种新颖的表格基础模型监…
-
新研究揭示了先验数据拟合网络中的谱结构
两篇新研究论文探讨了先验数据拟合网络（PFNs）的内部机制，这是一种表格基础模型。第一篇论文提供了机械证据，表明PFNs捕获与其上下文相关的谱结构，这些结构可以被解码为高斯过程回归的显式核。第二篇论文研究了PFNs如何摊销贝叶斯推理，发现它们通常能很好地恢复目标后验预测分布，但在罕见情况下可能表现出残差误差，这可以通过贝叶斯模型平均来缓解。
-
TIGER集成方法创时间序列分类新精度记录
研究人员开发了TIGER，一种利用表示的集成和自适应元分类的新型时间序列分类方法。与以往将定制分类器与每种表示配对的最先进方法不同，TIGER在四个不同的表示家族中使用了小型通用分类器组合。该方法在UCR时间序列分类存档的142个数据集的基准测试中取得了优于现有算法（包括HIVE-COTE2.0）的准确率、平衡准确率和F1分数。
-
新的表格基础模型 TabPFN-3.5 和 Causilo 取得最先进的成果
新的表格基础模型正在快速发展，Prior Labs 发布了 TabPFN-3.5，Nums AI 发布了 Causilo。TabPFN-3.5 表现强劲，在默认设置下，其性能优于 2015 年 Kaggle 竞赛的获胜解决方案（在 Otto 数据集上），并在多项基准测试中名列前茅。Causilo 在分类和回归任务的单模型中也处于 TabArena 排行榜的前列。研究还表明，虽然对于先进的表格基础模型而言，特征工程的收益正在减小，但提供…
-
新的注意力量化加速表格基础模型
研究人员为表格基础模型开发了一种新的注意力量化策略，以提高推理性能。该方法侧重于将查询、键和值量化为 FP8，并利用显式的 FP8 矩阵乘法指令。一项关键发现是，必须在训练和测试数据之间对齐量化误差，以防止精度下降。开发的 Triton 内核在标准 16 位内核上实现了高达 1.7 倍的加速，同时在 TabPFN-v3 和 TabICLv2 等模型在基准数据集上的表现没有显著的精度损失。
-
Mitra-v2 表格基础模型以更小的尺寸实现SOTA性能
研究人员推出了一款新的表格基础模型Mitra-v2，该模型在分类和回归任务上取得了最先进的性能。Mitra-v2仅使用合成数据进行训练，采用了紧凑的二维Transformer架构，能够高效处理更长的上下文和更大的特征空间。尽管与TabFM等行业级模型相比尺寸较小，Mitra-v2在TabArena和TALENT等基准测试中仍表现出具有竞争力或更优的结果，使其成为表格数据问题的强大且广泛适用的开源选项。
-
表格大语言模型在电子表格预测任务上超越梯度提升树
一类新的基础模型，称为表格大语言模型，在电子表格预测任务上的表现优于传统的梯度提升树。这些模型，例如TabICLv2和Google Research的TabFM，能够像语言模型补全文本一样，零样本预测任何表格中的缺失值。对TabICLv2的独立验证证实了其在TabArena基准测试中的强劲表现，展示了在低服务成本下的竞争性准确性。
-
研究发现表格基础模型未能掌握物理学原理
一篇新的研究论文探讨了表格基础模型（TFMs）是否从训练数据中学习了物理学原理。该研究使用源自316个物理方程的数据集，评估了包括TabPFN-3和TabICLv2在内的四种TFMs，并与六种基线模型进行了比较。尽管TFMs表现出强大的性能，但研究发现它们无法表示无噪声机制或物理单位，这限制了它们作为真正物理模型的能力。
-
Localized TabICLv2 通过 k-NN 检索提高表格模型效率
研究人员开发了 Localized TabICLv2，一种提高表格数据基础模型效率的方法。这种新方法通过仅检索每个数据点的 k-最近邻，而不是处理整个训练上下文，从而降低了 TabICLv2 的计算成本。微调后的本地化模型在保持原始准确率超过 98% 的同时，在批量和单查询推理场景中都实现了显著的加速。
-
表格基础模型展现出潜力但面临部署障碍
近期研究表明，表格基础模型（TFMs），如TabPFN和TabFM，在表格机器学习任务上表现强劲，有时甚至超越XGBoost等传统梯度提升模型。然而，这些先进模型在实际部署中面临挑战，包括巨大的内存和计算资源需求。研究还显示，TFMs在面对分布外数据时性能会下降，这是现实世界场景中常见的问题，尽管它们与分布内数据的性能关系仍然成立。
-
CRUMB 通过上下文批处理提高 PFN 推理效率
研究人员开发了 CRUMB，这是一种新颖的推理包装器，旨在提高先验拟合网络 (PFN) 的效率。PFN 是强大的表格基础模型，可以执行上下文学习，但其自注意力机制会导致大型数据集的计算成本高昂的推理。CRUMB 通过聚类测试查询、使用 MMD 最小化选择分布匹配的训练子集，然后在这些缩减的批次上执行推理来解决这个问题。该方法与架构无关，在 TabArena 基准测试上显示出优于现有上下文选择策略的性能，并且对协变量漂移具有鲁棒性。
-
研究质疑用于解释表格模型性能差距的元特征
一篇新的研究论文探讨了为表格数据集选择最佳模型的难度，尤其是在表格基础模型出现的情况下。该研究使用 TabArena 基准测试分析了不同模型家族之间的性能差距，试图将这些差距与数据集元特征相关联。然而，研究结果表明，元特征预测器不够健壮，无法始终解释在所测试的各种表格数据集中的性能差异。
-
研究人员将大型AI模型蒸馏为更快的CPU就绪梯度提升树
研究人员开发了一种方法，可以将大型表格基础模型（TFMs）蒸馏成更小、更快的梯度提升树模型，这些模型可以在CPU上运行。该技术解决了TFMs的延迟问题，因为它们对于欺诈评分等实时应用来说速度太慢。通过使用分层离群教师标签来防止标签泄露，蒸馏后的模型达到了接近原始TFMs的性能，但推理时间却大大缩短。
-
新型适配器TFM-Retouche在无需微调的情况下改进表格基础模型
研究人员开发了TFM-Retouche，这是一种新颖的适配器，旨在增强表格基础模型（TFM），而无需进行计算成本高昂的完全微调。这种轻量级、与架构无关的适配器在输入空间中运行，学习小的残差校正，以更好地将数据与TFM现有的归纳偏置对齐。当应用于TabICLv2时，名为TabICLv2-Retouche的框架在TabArena-Lite基准测试中取得了最高排名，显著提高了总体Elo分数并保持了效率。