使用人工智能作为评分任务的评委，例如翻译质量，可能由于固有的噪音和偏见而不可靠。作者发现，对同一项目进行两次评分会导致显著的分数差异，表明评委的不稳定性。在比较两个翻译时，一个有上下文，一个没有，人工智能评委对有上下文的版本显示仅有53%的胜率，这表明感知到的改进是评委波动评分标准造成的幻觉。 AI
影响 强调在依赖人工智能评分工具的关键决策之前，需要对其进行严格评估。
排序理由 该条目是一篇评论文章，讨论了人工智能评分的不可靠性。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p><strong>"+7 points from context" was an illusion — measure the judge's spread first</strong></p> <p>When I had an AI score quality, <strong>just measuring the same thing twice moved the number by 6.1 points</strong>. And that wobble was exactly the size of the "+7.2-point impr…