TabICL
PulseAugur coverage of TabICL — every cluster mentioning TabICL across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
TabICL to be integrated into medical imaging analysis pipelines
Recent research indicates foundation models, including TabICL, are being benchmarked against traditional methods for medical imaging analysis like lung CT scans. Given TabICL's demonstrated success in tabular data and the potential for integrating structured patient data with imaging results, it's plausible that TabICL or similar models will be incorporated into future medical AI pipelines for tasks like survival prediction or tumor classification.
Tabular foundation models to show improved generalization to structured biological data
A new paper shows TabICL and other tabular foundation models have surprising generalization to biomolecular prediction tasks, though performance depends on representation quality. This suggests that with curated, high-quality biological data representations, these models could become powerful tools for drug discovery and biological research, potentially outperforming specialized models.
Enterprise tabular data performance gap for foundation models is a growing concern
A recent paper highlights that models like TabICL, which perform well on standard benchmarks, may underperform on real-world enterprise data. This suggests a significant gap exists between academic benchmarks and practical enterprise applications, indicating a need for more realistic datasets and evaluation methodologies for tabular foundation models in business contexts.
-
新的TCSDG算法通过合成数据提升农业机器学习性能
研究人员开发了一种新的任务条件合成数据生成（TCSDG）算法，以提高农业预测任务中机器学习的性能。TCSDG将贝叶斯网络生成器与基于Transformer的表格基础模型TabICL配对，以创建逼真的合成数据。在跨多个地点和数据分数的作物产量预测和作物类型分类上进行测试时，TCSDG生成的数据在89%的分类实验和74%的产量预测实验中提高了机器学习性能，优于基准方法。
-
基础模型与放射组学在肺部CT分析中的基准测试
一篇新发布的arXiv基准研究，将基础模型与传统的放射组学技术在肺部CT扫描分析方面进行了比较。该研究评估了五种特征提取器、七种分类头和三种分割方法，涵盖了肿瘤分类和生存预测等五个任务。研究结果表明，分割对于体积和分期分类至关重要，而分类器的选择显著影响生存和组织学预测。研究建议在临床任务中，默认采用Curia结合肿瘤分割和CatBoost的流程，并在缺乏肿瘤描绘时提供替代方案。
-
Google Research 发布 TabFM，一个用于表格数据的零样本基础模型
Google Research 推出了 TabFM，一个专为表格数据设计的新型基础模型，该模型无需数据集特定的训练即可执行分类和回归任务。该模型利用混合注意力架构，结合了行和列注意力机制，并利用上下文学习在单次前向传播中进行预测。TabFM 使用数亿个合成数据集进行了大规模训练，现已在 Hugging Face 和 GitHub 等平台上提供。
-
表格基础模型在生物分子预测任务中展现出惊人的泛化能力
一篇新的研究论文探讨了表格基础模型（如 TabPFN 和 TabICL）在预测生物分子属性方面的惊人有效性。尽管这些模型在与生物结构没有直接联系的合成数据上进行了预训练，但在蛋白质适应性回归和小分子分类的少样本学习场景中，它们仍然展现出具有竞争力的性能。研究强调，虽然表格上下文学习显示出潜力，但其成功在很大程度上依赖于所使用的蛋白质或分子表示的质量。
-
企业数据与基准不同，新论文发现 · 跟踪到2个来源
一项新的研究论文强调了表格企业数据与公开可用基准之间存在的显著差异。该研究分析了像TabPFN、TabICL和ConTextTab等表格模型的数据统计和模型性能。研究结果表明，在标准基准上表现良好的模型在真实世界的企业数据上可能表现不佳，这凸显了对更多以企业为中心的基准的需求。
-
Google推出TabFM用于表格数据；新研究探讨模型局限性
Google Research推出了TabFM，一个用于表格数据的零样本基础模型，该模型与BigQuery ML集成，以简化分类和回归任务。与需要大量手动调优的传统方法不同，TabFM使用上下文学习，在单次传递中从未见过的数据表中生成预测。同时，几篇研究论文探讨了表格基础模型的能力和局限性，其中一篇论文强调了关于规则约束数据的推理存在形式化障碍，另一篇论文则引入了一个基准来评估模型在标准独立同分布（IID）数据集之外的通用性。
-
表格基础模型适应于临床生存预测
研究人员开发了一种方法，将表格基础模型应用于临床生存分析，这是一项对预测死亡率等事件发生时间至关重要的任务。该方法包括在像TabPFN、TabDPT和TabICL这样的模型预训练表示之上训练一个生存感知的头部。在公共基准和大型ICU数据集上，经过适应的模型表现出具有竞争力或更优越的性能，优于现有基线。
-
新模型和方法提升表格基础模型效率
研究人员正在开发新的表格基础模型（TFMs），以提高效率和性能。TabSwift通过行级注意力和可学习令牌增强了TabPFN架构，实现了具有竞争力的准确性和更快的推理速度。LimiX-2M是一个较小的模型，通过解决注意力瓶颈和使用新颖的令牌化框架，也优于较大的基线模型。此外，研究人员正致力于通过社区驱动的“速通”来加速TFM预训练，并压缩数据集以实现更快的推理和减少内存使用。
-
机器学习模型在不平衡临床数据上的评估
一项新近发表在arXiv上的研究，探讨了在不平衡临床数据上使用各种机器学习模型预测危重症结局的有效性。研究人员在MIMIC-IV-ED和eICU数据库上评估了包括基于树的方法和基础模型在内的六种模型家族。研究结果表明，虽然XGBoost在eICU数据集上表现最佳，但TabPFN v2.6和TabICL在MIMIC-IV-ED上取得了优异的成绩，这表明没有单一模型能普遍占优。基础模型为资源受限的临床环境提供了有前景的效率-性能权衡。
-
New MELO method hedges memory horizons for non-stationary prediction
研究人员开发了MELO，一种新颖的模型无关的在线预测方法，可以对不同适应尺度进行对冲。MELO使用指数加权最小二乘适应专家包装基础预测器，并使用无参数在线聚合规则聚合它们的预测。在COVID-19封锁期间对法国电力负荷预测的评估中，与基线方法和使用外部策略协变量的参考模型相比，MELO显著降低了RMSE。
-
表格基础模型显示推理冗余，合成数据存在差距
两篇新研究论文探讨了表格基础模型的复杂性。一项研究调查了这些模型的推理动态，揭示了显著的深度冗余，并提出了一种更高效的单层架构。另一篇论文比较了表格模型的不同预训练语料库，发现像TabICL这样的合成数据源占据了真实世界数据分布的一个狭窄区域，并且精心策划的数据和网络抓取的数据在很大程度上是可互换的。
-
Manokhin 概率矩阵为分类器质量提供新框架
研究人员引入了 Manokhin 概率矩阵，这是一个旨在评估分类器概率预测质量的新诊断框架。该框架区分了可靠性和分辨率，将分类器分为四种原型：Eagle、Bull、Sloth 和 Mole。一项对 21 个分类器和 30 个任务进行的实证研究发现，像 CatBoost 和 Random Forest 这样的模型是 Eagles，而 XGBoost 和 LightGBM 是 Bulls，这对事后校准具有特定意义。
-
New research explores tabular representation learning for network intrusion detection
本文评估了用于网络入侵检测的表格表示学习技术，旨在从NetFlow数据中自动化特征提取。研究人员将TabICL和自动编码器等各种方法与传统方法和Transformer基线进行了比较。研究发现，性能高度依赖于所使用的具体数据集和模型，其中监督方法通常优于无监督异常检测。
-
ScoringBench: A Benchmark for Evaluating Tabular Foundation Models with Proper Scoring Rules
两篇新研究论文介绍了用于更好地评估和清理表格基础模型的方法。ScoringBench 提供了一个使用恰当评分规则的综合基准，用于评估超越简单点估计的模型性能，揭示了不同指标如何导致模型排名各异。另一方面，Prior-Aligned Data Cleaning 提出了一个深度强化学习框架来清理真实世界的表格数据，解决了诸如缺失值和异常值等问题，以提高模型准确性和置信度校准。