研究人员在预训练表格基础模型(TFMs)的评估中发现了一个“标准化陷阱”。这个陷阱的出现是因为公共TFM包在模型处理标签之前对其进行标准化,从而掩盖了模型的真实行为。该研究提出了两种证书来检测固定权重预测和独立非线性标签转换的总和,发现改变一个上下文标签会影响其他标签如何影响预测,这种现象被称为“联合处理”。这种联合处理似乎在训练过程中发展,注意力分数在这些相互作用中起着重要作用。 AI
影响 这项研究引入了新的方法来理解和解释表格基础模型的行为,有可能提高其可解释性和可靠性。
排序理由 该集群包含一篇详细介绍表格基础模型评估新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Kernel Smoothing
- linear regression
- tabular foundation models
- The Standardization Trap: Certifying Joint Label Processing in Tabular Foundation Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →