Black-Box LLM Observers

LLM 裁判测量不稳定，可靠性测试失败

一项新的研究论文强调了使用大型语言模型（LLM）作为评估 AI 输出的裁判时存在的重大不可靠性问题。研究发现，发送到同一模型端点的相同请求会随着时间的推移产生不同的排名，同一窗口重复排名的 Spearman 相关性仅为 0.400，次日重测为 0.78，远低于要求的 0.90 和 0.99。研究确定了三个主要原因：有偏见的标签到含义映射、候选差距远小于测量仪器的噪声水平，以及模型响应的固有变异性。即使在切换提供商或尝试通过采样来缓解这…