Yoel Zeldes

激活对齐提升表格模型上下文学习能力

研究人员开发了一种名为激活对齐的新方法，以提高表格基础模型在上下文学习中的性能。该技术通过训练一个轻量级的线性变换，将使用有限上下文的模型的中介激活映射到使用完整上下文的模型的中介激活，从而实现匹配。这种方法允许在保持更快的推理速度（与较小的上下文相关）的同时，显著缩小与使用整个数据集的模型相比的性能差距。该方法在使用了 TabPFN-3 和 TabFM 等领先表格基础模型的 38 个数据集上显示出广泛的改进。