研究人员开发了一种方法，可以将大型表格基础模型（TFMs）蒸馏成更小、更快的梯度提升树模型，这些模型可以在CPU上运行。该技术解决了TFMs的延迟问题，因为它们对于欺诈评分等实时应用来说速度太慢。通过使用分层离群教师标签来防止标签泄露，蒸馏后的模型达到了接近原始TFMs的性能，但推理时间却大大缩短。 AI
影响 通过显著降低复杂表格模型的推理延迟，实现了实时AI应用。
排序理由 该集群包含一篇学术论文，详细介绍了一种新的模型蒸馏方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
A fraud scorer needs to answer in under 2 ms. The best tabular foundation models (TFMs) take 151-1,275 ms on GPU. We close this gap by distilling the TFM offline into an XGBoost or CatBoost student that runs natively on CPU. The central obstacle is specific to in-context learning…
A fraud scorer needs to answer in under 2 ms. The best tabular foundation models (TFMs) take 151-1,275 ms on GPU. We close this gap by distilling the TFM offline into an XGBoost or CatBoost student that runs natively on CPU. The central obstacle is specific to in-context learning…