JudgeBank

FewHumans库提高了大语言模型裁判的可靠性并降低了人工标注成本

一个名为FewHumans的新库已被开发出来，以解决大语言模型裁判在评估AI模型输出时不可靠的问题。这些裁判通常会高估自己的准确性，在大多数测试案例中，仅裁判的置信区间都未能包含真实的人工验证值。FewHumans旨在通过智能地选择人类应标注的数据点、结合人类和LLM的判断，并提供统计上可靠的置信区间来改进这一点，从而在提高准确性的同时减少对广泛人工标注的需求。