开发了一个名为 Kahneman4Review 的新基准，用于评估 LLM 作为裁判的同行评审的认知可靠性。该基准包含 3,563 条评分评审，分析了九个文本维度、八个偏见诊断和一个连续的推理质量分数。初步研究表明，LLM 作为裁判可能没有遵循与人类评审相同的标准，公开展示的代理评审得分更高，但这主要是由于长度和展示平台而非内在质量。研究还注意到，随着 LLM 可用性的增加，评审诊断也发生了变化，但尚未确定直接的因果关系。 AI
影响 这项研究强调了 LLM 作为裁判的评估中可能存在的差异，表明需要更强大的基准测试来确保真正的分析功能而非肤浅的流畅性。
排序理由 该集群包含一篇学术论文，详细介绍了用于评估 LLM 在同行评审中表现的新基准。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
