一项新近发表在 arXiv 上的研究探索了一种提高 LLM 裁判在评估文本时一致性的方法。该研究引入了一种无标签程序，用于识别和重写裁判之间存在高度分歧的评分标准条款。虽然此方法成功提高了在 SummEval 数据集上的裁判间共识，但并未显著提高在 SummEval、HealthBench 或 USR Topical-Chat 上与人类专家评分的一致性。研究结果表明，尽管可以使 LLM 裁判之间达成更多共识，但这种增强的共识不一定会转化为与人类判断的一致性。 AI
影响 这项研究突显了在使 LLM 裁判输出与人类评估保持一致方面存在挑战，表明当前提高 LLM 共识的方法可能无法保证准确性。
排序理由 学术论文，详细介绍了一种提高 LLM 裁判一致性的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
