新研究揭示人类标注者在AI忠实度评估中表现出“平均偏差”

一篇新发表在arXiv上的论文，题为《平均偏差：人类忠实度标注并非局部忠实》（Averaging Bias: Human Faithfulness Annotations are not Locally Faithful），研究了人类标注在评估文本摘要模型忠实度方面的可靠性。研究发现，人类标注者可能表现出“平均偏差”，即他们会标记摘要为忠实，即使摘要包含事实错误，而不是严格遵守要求摘要中的每一句话都必须得到源文档支持的规则。通过比较全局人类标签与LLM裁判在多个基准测试中的逐句判断，识别出了这种偏差，表明需要改进标注设计以确保可信赖的评估。 AI

影响 强调了当前AI评估方法中潜在的缺陷，表明需要更严格的人类标注设计来确保忠实度。

排序理由 该集群包含一篇发表在arXiv上的学术论文，讨论了与AI评估相关的新概念。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• Averaging Bias
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• ScienceCast

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →