TabKD

TabKD 方法改进了无数据知识蒸馏在表格模型上的应用

研究人员开发了一种名为 TabKD 的新方法，用于表格领域的无数据知识蒸馏。该技术通过关注特征交互来解决现有方法的局限性，而特征交互对于表格模型学习预测知识至关重要。TabKD 的工作原理是创建与教师模型的决策边界对齐的自适应特征 bin，然后生成合成数据以最大化成对特征交互的覆盖范围。在基准数据集上的实验表明，TabKD 在学生-教师一致性方面显著优于最先进的基线方法，并证明了交互覆盖范围与蒸馏质量之间存在很强的相关性。