LeakScale

新框架LeakScale量化AI基准污染影响

研究人员开发了一个名为LeakScale的新框架，用于量化基准污染对AI模型产生的因果影响。与以往关注评估数据是否出现在训练集中的方法不同，LeakScale衡量了这种数据暴露对模型性能的实际影响程度。在不同领域和模型家族的实验表明，基准暴露持续提高了准确性，影响范围从3.22到10.66个百分点。这种新方法能够更精确地理解训练数据泄露如何影响基准分数。