实体 JudgeArena

JudgeArena

PulseAugur coverage of JudgeArena — every cluster mentioning JudgeArena across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_178397 · Aug 3 · 04:00

新框架和方法解决LLM裁判的偏见 · 跟踪4个来源

研究人员正在开发新方法来解决大型语言模型（LLM）在用作文本质量评估裁判时的评分偏差问题。一种方法是指示LLM生成随机数，以识别和纠正潜在的数值偏差，与现有方法相比表现有所提高。另一项研究引入了JudgeArena，这是一个统一的框架，可以跨不同基准和模型标准化LLM裁判的评估，从而提高可重复性和透明度。此外，一个名为JudgeBiasBench的新基准系统地量化了LLM裁判中不同类型的偏差，而一种称为Chain-of-Models的…