一篇新的arXiv论文提出了一种用于大型语言模型（LLM）评判者的“提交优先评判”方法，以防止它们被操纵。研究发现，在审计的八个广泛使用的评估框架中，没有一个实现了这种防御，许多框架使用了无效的变体。在实验中，评判者接受了有缺陷的候选者，在一种情况下，评判者自身的错误答案导致了更糟糕的评估结果。 AI
影响 强调了当前LLM评估方法中潜在的漏洞，表明需要更强大的评判技术。
排序理由 该集群包含一篇详细介绍新方法及其评估的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2609.00088v1 Announce Type: cross Abstract: LLM judges, models that score another system's output, can be gamed by the systems they score. Recent work identifies one defence that works: the judge solves the task itself first and commits to that answer, then accepts a candid…