Yan Sun

新的统计方法改进了机器学习模型校准的置信区间

研究人员开发了一种新的统计方法，用于创建机器学习模型中 $\ell_2$ 预期校准误差 (ECE) 的置信区间。该方法解决了严格评估概率预测的挑战，而这方面的进展一直落后于预测准确性的提高。所提出的方法考虑了模型校准或校准错误时不同的收敛速度和方差，并且还考虑了 ECE 的非负性。实验结果表明，这些新的置信区间是有效的，并且与现有的基于重采样的技术相比，其长度更短。