一位用户发现，他们使用 Claude 的 LLM-as-a-judge 系统持续将答案评分定为 10 分中的 7 或 8 分，在 1,140 个回复中有 68% 落在这个范围内。这表明该模型并未准确评估答案，而是默认给出高分。试图让模型“更严格”仅略微降低了分数，但并未提高排名一致性。通过使用带有详细等级描述的 1-5 分制，与人类评分者的一致性提高到 0.68，而采用在代码中汇总的二元清单，则进一步将一致性提高到 0.79。 AI
影响 LLM-as-a-judge 系统需要仔细的提示工程和量表定义，以确保准确评估，其中清单格式显示出潜力。
排序理由 该项目详细介绍了使用 LLM 作为评估回复的裁判的有效性和局限性研究，包括实验性修复方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
