response bias

如何构建一个值得信赖的LLM裁判用于生产环境评估

大规模评估大型语言模型（LLM）的输出需要一个LLM裁判，但这些裁判也有其自身的故障模式，例如偏爱更长的回应或表现出位置偏见。为确保可靠的评估，建议采用一个三步流程：首先，通过比较回应而不是对其打分来消除裁判的设计偏差，平均化反向呈现顺序的判断结果，并明确指示反对长度偏见。其次，通过与人类评估进行校准来验证裁判的评分准确性。最后，持续监控裁判的漂移，尤其是在模型版本更新时，以保持值得信赖的性能指标。