ACS-Income

新方法评估数据分布偏移下的AI模型

研究人员开发了一种新颖的推断性评估方法，用于评估在目标人群中缺乏黄金标准结果时，在代理标签上训练的模型。该方法解决了在协变量偏移（数据分布来源不同）下评估模型可靠性的挑战。所提出的交叉拟合估计器通过特定来源的密度比，利用标记的来源数据集和未标记的目标数据集的信息，从而能够对TPR、FPR和AUC等关键性能指标进行渐近推断。该方法通过模拟和在Chatbot Arena及ACS-Income数据上的回顾性研究进行了验证。