一项新的研究论文强调了使用大型语言模型（LLM）作为评估 AI 输出的裁判时存在的重大不可靠性问题。研究发现，发送到同一模型端点的相同请求会随着时间的推移产生不同的排名，同一窗口重复排名的 Spearman 相关性仅为 0.400，次日重测为 0.78，远低于要求的 0.90 和 0.99。研究确定了三个主要原因：有偏见的标签到含义映射、候选差距远小于测量仪器的噪声水平，以及模型响应的固有变异性。即使在切换提供商或尝试通过采样来缓解这些问题时，这些问题仍然存在，这表明共享基础设施上的模型名称并不代表稳定的测量工具。 AI
影响 强调了评估 LLM 输出中的关键问题，可能影响排行榜、训练数据选择和模型开发。
排序理由 学术论文，详细介绍了 LLM 测量工具的可靠性故障。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
