GPT-4o-5.1

新框架通过考虑偏差来改进 LLM 裁判

一篇新的研究论文介绍了一个偏差感知贝叶斯主动学习框架，旨在提高大型语言模型 (LLM) 在用作排名任务裁判时的准确性。该框架明确地对裁判特有的偏差进行建模，例如冗长和位置效应，并使用收缩先验来正则化这些偏差。它还包含一个 top-k 感知获取规则，以在有限的比较预算内有效地识别最佳项目。实验表明，这种方法显著优于朴素聚合方法，尤其是在使用表现出强烈偏差的廉价 LLM 裁判时，而前沿模型则表现出最小的偏差。