PulseAugur
中
实时 09:16:31
English(EN) No Free Labels: Limitations of LLM-as-a-Judge Without Human Grounding

研究发现：LLM作为裁判的评估在缺乏人类依据时存在缺陷

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇题为“没有免费标签：LLM作为裁判在缺乏人类依据时的局限性”的新研究论文，重点指出了使用大型语言模型（LLMs）评估其他LLMs时存在的重大局限性，尤其是在需要事实准确性的领域。该研究引入了商业和金融基础知识基准（BFF-Bench），这是一个包含160个问题和专家评估答案的数据集。研究结果表明，只有当LLM裁判自己能够正确回答问题时，它们与人类专家的意见才高度一致。为LLM裁判提供专家撰写的参考资料在很大程度上缓解了这个问题，这凸显了在LLM评估中进行人类验证的必要性。 AI

影响 强调了在LLM评估中需要人类监督，尤其是在事实准确性方面，这影响了自动化评估工具的可靠性。

排序理由 研究论文，详细说明了LLM评估方法的局限性。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

研究发现：LLM作为裁判的评估在缺乏人类依据时存在缺陷

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Michael Krumdick, Charles Lovering, Varshini Reddy, Seth Ebner, Chris Tanner ·

    无免费标签：缺乏人类实证的LLM作为裁判的局限性

    arXiv:2503.05061v3 Announce Type: replace Abstract: Reliable evaluation of large language models (LLMs) is critical as their deployment rapidly expands, particularly in high-stakes domains such as business and finance. The LLM-as-a-Judge framework, which uses prompted LLMs to eva…

相关实体

相关话题