Perplexity Decider

ProbabilityBench 基准测试为模型评估提供精确真实标签不确定性

研究人员推出了 ProbabilityBench，这是一个旨在利用精确真实标签概率来评估模型不确定性和校准的新基准测试。该基准测试通过模拟三个基于文本的领域：同行评审、隐蔽信息传输和信用风险，解决了现实世界数据中真实类别概率未知这一挑战。ProbabilityBench 允许通过 KL 散度直接衡量概率质量，并可作为元评估框架来评估标准校准指标的准确性。