实体
Calibrated Size Ratio
Calibrated Size Ratio
PulseAugur coverage of Calibrated Size Ratio — every cluster mentioning Calibrated Size Ratio across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
最近 · 第 1/1 页 · 共 2 条
-
提出新指标以更好地评估AI模型校准和风险
研究人员引入了新的指标来评估机器学习模型的校准，超越了传统的期望校准误差（ECE）。提出的校准尺寸比（CSR）指标旨在提供对过度自信风险更鲁棒的评估，而ECE可能会掩盖重大风险。此外，该论文还引入了置信度加权指标，如置信度加权准确率（cwA）和置信度加权AUC（cwAUC），以衡量分配的置信度在区分正确和不正确的预测方面的有效性。
-
新指标挑战AI置信度校准标准
研究人员引入了新的指标来评估AI模型置信度得分的校准情况，超越了传统的预期校准误差（ECE）。提出的校准尺寸比（CSR）和置信度加权准确率（cwA）为评估过度自信风险和置信度得分的区分能力提供了更细致的评估。这些指标在合成数据和真实世界数据集上得到了验证，结果表明标准的校准方法仍然可能产生有风险的置信度分布。