PulseAugur
中
实时 09:02:54
English(EN) Self- and Other-Labels Induce Bidirectional Bias in LLM Judges

大型语言模型裁判根据自我标签显示双向偏见

作者 PulseAugur 编辑部 · [1 个来源] ·

一项新的研究论文探讨了当大型语言模型（LLM）被用作评估输出的裁判时，自我偏好偏见的现象。研究发现，当LLM裁判不知道选择的来源时，在控制了选择质量和评估者严厉程度后，自我偏好在很大程度上消失了。然而，当存在指示自我或其他作者身份的标签时，LLM会表现出双向偏见，即使没有明确的模型识别，也会提高自我标记选择的分数并降低其他标记选择的分数。 AI

影响 突出了LLM评估系统中潜在的偏见，影响了人工智能生成内容评估的可靠性。

排序理由 在arXiv上发表的研究论文，详细介绍了关于LLM偏见的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

大型语言模型裁判根据自我标签显示双向偏见

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung ·

    自我标签和其他标签在大型语言模型裁判中引起双向偏差

    arXiv:2608.18091v1 Announce Type: cross Abstract: As LLM-as-a-judge systems become increasingly widespread, self-preference in LLMs -- the tendency to favor one's own outputs -- raises growing concerns about evaluation reliability. However, it has been studied predominantly on ge…

相关实体

相关话题