English(EN) Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing

新研究揭示LLM作为评委的评估对提示词改写敏感

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-31 04:00

arXiv上发表的一项新研究介绍了“提示词抽样”现象，揭示了用于评估大型语言模型的提示词即使是轻微的改写，也会导致判断结果显著不同。这种敏感性甚至可能颠覆模型之间的相对排名。研究发现，与人类标注者相比，LLM作为评委的评估在提示词改写下的不一致性高出六到九倍，低于可用性标准。为解决此问题，该研究提出使用多提示词聚合，通过关注不同提示词变体之间的一致性判断来提高评估的鲁棒性。 AI

影响突出了当前LLM评估方法中的一个关键缺陷，可能影响模型开发和基准测试。

排序理由学术论文，详细介绍了LLM评估中的一种新现象。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了LLM评估中的一种新现象。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, other; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: 3 days old; Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Ilija Subasic, Brett Levert, Andrew Rabinovich, Sajjad Pakdamansavoji, Zhao Chen · 2026-10-31 04:00

LLM-as-a-Judge 中的提示词彩票：衡量和减轻对句法改写敏感性的影响

arXiv:2610.38076v1 Announce Type: cross Abstract: LLM-as-a-Judge has become a standard for evaluating large language models, yet most approaches implicitly assume that a single judge prompt functions as a stable evaluation instrument. Prior work has primarily explored deliberate …

本文如何被排名

报道来源 [1]

LLM-as-a-Judge 中的提示词彩票：衡量和减轻对句法改写敏感性的影响

相关实体

相关话题