BT-sigma

新方法评估LLM在比较评估中的裁判可靠性

研究人员开发了BT-sigma，一种用于评估大型语言模型（LLM）作为比较评估中裁判的可靠性的新方法。该方法通过为每个LLM裁判引入一个判别器参数来扩展Bradley-Terry模型，从而可以直接从成对比较中联合推断项目排名和裁判可靠性，即使没有人类监督。在基准数据集上的实验表明，BT-sigma的性能显著优于传统的平均方法，并且其学习到的判别器与LLM判断一致性的独立测量值具有良好的相关性，有效地充当了无监督校准机制。