Conformal Reliability

New metric CReL evaluates generative model reliability using conformal prediction

研究人员引入了Conformal Reliability (CReL)，一种用于条件生成模型的新型评估指标，旨在衡量在指定置信水平下预测集内的最坏情况性能。这一新指标解决了现有方法仅评估单个输出的局限性，而这些方法可能忽略变异性和风险。CReL旨在提供更具信息量的预测集，并通过在合成数据和图像到文本任务上的实验证明了其有效性和可解释性。