一篇新论文指出了大型语言模型（LLM）在分类任务中估计置信度时存在的重大局限性。研究人员发现，常见的诸如语言化（verbalization）等方法会导致置信度输出高度稀疏，模型通常只产生少数几个不同的置信度值。这种稀疏性严重影响了准确率-拒绝曲线下面积（AUARC）等评估指标，因为不同的插值方法可能导致模型排名发生巨大变化。该论文提出了一种新方法，“语言化对数概率”（verbalization logprobs），该方法通过词元（token）概率对语言化数字进行加权，以解决稀疏性问题并提高 AUARC 分数，同时不增加推理成本。 AI
影响 强调了 LLM 分类置信度评估中的关键挑战，可能影响模型性能的评估和比较方式。
排序理由 论文详细介绍了评估陷阱并提出了一种新的 LLM 置信度估计方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
