Direct Absolute Rating

大语言模型同行评审方法用于学术论文评估

一项新近发表在arXiv上的研究评估了使用大语言模型（LLMs）辅助学术论文同行评审的各种方法。该研究比较了三种输入表示和三种大语言模型下的五种不同范式，使用了来自国际学习表示会议（ICLR）2025的232篇分层提交的论文。研究结果表明，直接绝对评分在预测人类评分方面与比较排序的表现相当，但在API调用方面效率更高。仅输入摘要比使用全文摘要更有效，而大语言模型的选择对结果有显著影响。值得注意的是，在准确性方面，没有一种评估的大语言模…