Removal-Budget Confounding

新框架解决自适应数据清理方法中的偏差问题

开发了一个新的评估框架，以解决自适应数据清理方法中的混淆偏差。这些方法使用数据驱动的分区而不是手动阈值，可以通过改变移除样本的数量来隐式改变性能指标。所提出的框架使用匹配预算和匹配召回率的对照，以及像AUROC和AUPRC这样的独立于阈值的指标，以确保性能提升反映了真实的腐败区分能力，而不是移除预算的变化。在CIFAR-10和ImageNet-100上的实验表明，在匹配操作点后，许多在朴素评估中观察到的性能差异减小或消失了。