English(EN) I had 55 LLMs blind-grade each other (22k judgments, all open). Every model family with enough data is biased toward its own siblings. Qwen judges favor Qwen by ~0.9 points. Mistral penalizes its own by ~1.0.

研究发现大语言模型在互相评分时表现出显著的自我偏见

作者 PulseAugur 编辑部 · [1 个来源] · 2026-06-28 00:10

一项涉及55个大语言模型的最新研究揭示了它们在评分其他模型时存在显著的自我偏见。在一项模型互相盲评的评估中，大多数模型家族都表现出对其同类的偏好。值得注意的是，Qwen模型对其同类的评分偏袒约0.9分，而Mistral模型则表现出最大的负偏见，对其同类的评分惩罚约1.0分。 AI

影响揭示了大语言模型评估中潜在的偏见，表明模型性能指标可能因自我偏好而产生偏差。

排序理由该集群描述了对多个大语言模型进行的独立评估结果，类似于学术研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/Silver_Raspberry_811 · 2026-06-28 00:10

我让55个大语言模型（LLM）进行了盲测互评（22k份判断，全部公开）。每个模型家族在有足够数据的情况下，都会偏袒自己的同系模型。Qwen模型评分偏爱Qwen约0.9分。Mistral模型则会惩罚自家模型约1.0分。

<div class="md"><p>I have been running an open evaluation setup where N models answer the same prompt, then blind-grade each other in an N x N matrix with self-judgments excluded. No single privileged judge. So far: 286 evaluations, 198 hand-written questions, 22,2…

报道来源 [1]

我让55个大语言模型（LLM）进行了盲测互评（22k份判断，全部公开）。每个模型家族在有足够数据的情况下，都会偏袒自己的同系模型。Qwen模型评分偏爱Qwen约0.9分。Mistral模型则会惩罚自家模型约1.0分。

相关实体

相关话题