Ranknet

AI解释质量通过排序进行评估，优于回归

研究人员已将AI解释质量的评估从生成任务重新构建为排序问题。模型不再生成单个最佳解释，而是被训练来区分多个候选解释之间的相对质量。这种方法利用列表式和成对排序模型，在区分解释质量等级方面显示出比回归方法更优越的性能。值得注意的是，在高质量数据上训练的小型编码器模型可以达到与大型模型相当的性能，并且这些基于排序的奖励有助于稳定策略优化，而基于回归的奖励则会失败。