streaming quantile matching

新的 LLM 校准方法尊重分数分布

研究人员推出了一种新颖的 LLM-as-a-Judge 分数校准方法——流式分位数匹配 (SQM)。与传统的点校准不同，SQM 将 LLM 分数视为分布而非孤立点，从而更好地与人类评分保持一致。这种方法尊重人类锚定集的序数性，并在各种模型和数据集上实现了卓越的分布保真度和整体排名。SQM 还显示出缩小较小和较大 LLM 裁判之间误差差距的潜力，为更有效的 LLM 评估铺平了道路。