Panickssery et al.

LLM裁判存在偏见；这里有3种修复方法

基于LLM的裁判虽然在评估AI模型性能方面很有用，但可能表现出位置、冗长和自我偏好等偏见，导致评估不准确。为了减轻这些问题，开发人员可以实施策略，例如运行两次交换答案的成对比较来检测位置偏见，使用详细的评分标准进行通过/失败决策以对抗冗长偏见，并将LLM裁判的输出与人工标记数据进行比较以确保准确性。这些方法有助于确保LLM裁判衡量的是预期的标准，而不是被回应的表面特征所左右。