一项新的研究论文指出了使用大型语言模型（LLM）裁判评估开放式回答时的一个重大问题，特别是在缺乏真实答案的情况下。研究发现，这些LLM裁判倾向于过于宽容，在没有提供参考的情况下会错误地认可错误的答案。研究还表明，在提示中提供参考答案信息可以极大地改变LLM裁判的决定，有时会改变高达85%，并且这些变化通常与人类判断一致。该论文强调，在将LLM裁判部署到无参考环境中以确保可靠评估之前，必须通过参考感知评估对其进行校准。 AI
影响 强调了基于LLM的评估中潜在的不可靠性，需要仔细校准以获得准确评估。
排序理由 arXiv上发表的研究论文，详细介绍了LLM评估方法中的一个缺陷。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.12885v1 Announce Type: new Abstract: LLM judges are increasingly being used to evaluate open-ended model responses, often in no-reference settings where a ground-truth answer is unavailable. However, can they reliably assess in such evaluation setups? We explore this q…
LLM judges are increasingly being used to evaluate open-ended model responses, often in no-reference settings where a ground-truth answer is unavailable. However, can they reliably assess in such evaluation setups? We explore this question in this paper through a two stage pipeli…