PulseAugur
中
实时 16:57:58
English(EN) From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

新方法通过校准排名改进大语言模型评估

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为共形Elo估计（Conformal Elo Estimation）的新方法，以改进大语言模型（LLMs）的评估。该技术通过将校准后的胜率传播到Elo估计过程中，解决了LLM作为裁判评估中的系统性错误，如位置偏差和自我偏好。该方法显著降低了LLM衍生评分与人类衍生评分之间的平均绝对误差，使其误差在17.9 Elo MAE以内。此外，它应用共形预测提供诚实的置信区间，为开发人员提供了一种低成本的工具，无需大量人工标注即可获得校准后的大语言模型估计值。 AI

影响 提供了一种更准确、更具成本效益的大语言模型评估方法，从而能够更好地进行模型开发和比较。

排序理由 该集群包含一篇详细介绍大语言模型评估新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Bora Kargi, David Salinas ·

    From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation

    arXiv:2606.13221v2 Announce Type: replace Abstract: Evaluating new large language models typically requires costly human annotation campaigns at scale. LLM-as-a-judge offers a cheaper alternative, but judge scores carry systematic errors - such as position bias, self-preference, …

相关实体

相关话题