Kahneman4Review

新的基准测试质疑 LLM 作为裁判的同行评审的可靠性

开发了一个名为 Kahneman4Review 的新基准，用于评估 LLM 作为裁判的同行评审的认知可靠性。该基准包含 3,563 条评分评审，分析了九个文本维度、八个偏见诊断和一个连续的推理质量分数。初步研究表明，LLM 作为裁判可能没有遵循与人类评审相同的标准，公开展示的代理评审得分更高，但这主要是由于长度和展示平台而非内在质量。研究还注意到，随着 LLM 可用性的增加，评审诊断也发生了变化，但尚未确定直接的因果关系。