AggreFact

LLM作为裁判：口头置信度在新模型上优于对数概率

一篇新的arXiv论文提出了一种转变，关于如何将大型语言模型（LLM）用作裁判，建议对于2025年后的专有模型，口头置信度已成为比对数概率更稳健的评分机制。研究表明，这种“兼容性转变”在SummEval、AggreFact和HelpSteer2等各种基准测试中显而易见，涉及多达18个LLM。该论文引入了过度自信咨询和自我辩论来改善校准和分数分布，并指出与旧模型不同，新模型能以最小的成本适应这些补充。