研究人员开发了BT-sigma，一种用于评估大型语言模型（LLM）作为比较评估中裁判的可靠性的新方法。该方法通过为每个LLM裁判引入一个判别器参数来扩展Bradley-Terry模型，从而可以直接从成对比较中联合推断项目排名和裁判可靠性，即使没有人类监督。在基准数据集上的实验表明，BT-sigma的性能显著优于传统的平均方法，并且其学习到的判别器与LLM判断一致性的独立测量值具有良好的相关性，有效地充当了无监督校准机制。 AI
排序理由 这是一篇详细介绍评估LLM新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
