ML Peer Review

研究发现：机器学习同行评审得分在不同主题间不可比较

一篇新发表在arXiv上的立场论文认为，机器学习同行评审中的评审得分在不同研究领域之间是不可比较的。该论文分析了2021-2026年国际学习表征会议（ICLR）的数据，发现即使评审得分相同，一篇论文的录用概率也会因其主题不同而相差高达八倍。作者将这种差异归因于测量设计缺陷而非个人偏见，并指出固定的数值量表将跨社区的质量判断聚合起来，而这些社区的评审群体并不统一。他们建议采用校准的评审信号，并发布按主题分层的录用率作为公平性指标。