AUGRC

研究论文量化了 AI 模型选择所需的标签数量

一篇新的研究论文探讨了模型选择所需的标签数量，特别关注了广义风险覆盖曲线下面积（AUGRC）。该研究引入了一个预标签下界来识别标签预算不足的情况，并提出了一个覆盖线性规划来确定明确选择获胜模型所需的最小标签数。在九个数据集上的比较结果表明，不一致标签可以解决准确性选择问题，但不能解决 AUGRC 选择问题，平均证书大小为标签的 56-57%。对预训练图像分类器的进一步实验表明，即使有 AUGRC 容差，置信度分数选择也需要大部分标签。