Exceedance Design Effect

新指标纠正聚类AI数据的有效样本量

研究人员引入了“超越设计效应”（Exceedance Design Effect）来解决使用阈值的机器学习系统中有效样本量的问题。传统方法假设数据是独立的，但现代系统由于共享提示或推理痕迹，数据常常是聚类的。这个新指标提供了更准确的计数，说明阈值所需的独立观测值数量，它考虑了聚类分数越过阈值的频率，而这个频率会随着阈值水平的变化而变化。研究结果表明，当前的共形文献中的修正是不准确的，并且数据集的有效样本量不是一个单一值，而是随阈值设置而变化。