Tabular deep learning

新的表内预测方法使用Transformer处理表格数据

研究人员推出了一种用于表格深度学习的新颖方法，称为表内预测（ITP），该方法侧重于学习数据集中列之间的关系，而不是预测单个目标特征。这种自监督方法会掩盖任意列作为学习目标，并设计了一种新的神经网络层来处理数值和缺失值。使用合成数据进行的评估表明，基于Transformer的架构在ITP方面优于MLP和ResNet，尤其是在具有足够训练数据和嵌入长度的情况下，尽管这些发现是初步的，并且仅限于受控的合成条件。