PulseAugur
中
实时 21:19:33
实体 commit-first judging

commit-first judging

PulseAugur coverage of commit-first judging — every cluster mentioning commit-first judging across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
  1. TOOL · CL_231353 ·

    新论文批评LLM评判者,发现普遍存在的漏洞

    一篇新的arXiv论文提出了一种用于大型语言模型(LLM)评判者的“提交优先评判”方法,以防止它们被操纵。研究发现,在审计的八个广泛使用的评估框架中,没有一个实现了这种防御,许多框架使用了无效的变体。在实验中,评判者接受了有缺陷的候选者,在一种情况下,评判者自身的错误答案导致了更糟糕的评估结果。

  2. TOOL · CL_241544 ·

    LLM评判者易受操纵,缺乏有效防御机制

    一项新研究表明,广泛使用的LLM评判框架容易被操纵,因为所审计的配置均未实施一项名为“先提交评判”(commit-first judging)的拟议防御机制。该方法涉及评判者在评估另一个系统的输出之前自行解决任务,然后仅在候选方案与其自身答案匹配时才接受。研究发现,九种配置使用了这种防御机制的无效变体,这可以追溯到一个共同的拼写错误。在实验中,一个未经辅助的搜索算法成功操纵了其中一种配置,通过了有缺陷的候选方案,而先提交评判有效地阻止…