conference practice

大语言模型同行评审：会议指南优于模仿

一项新近发表在arXiv上的研究调查了不同的审稿人指南设计如何影响基于大语言模型（LLM）的自动化同行评审的有效性。研究发现，通过既定实践精炼而成的官方会议指南，其产生的评估结果与人类判断最为一致。相反，旨在模仿人类审稿人的指南效果较差，而严格的评分条目式评分则会降低性能。该研究强调了在自动化同行评审中，主观和整体性评分比强制执行严格的评分条目更有价值。