新论文发现LLM置信度估计受稀疏性影响存在缺陷

一篇新发表在arXiv上的研究论文强调了大型语言模型（LLMs）在分类任务中估计置信度时存在的重大局限性。研究发现，像语言化这样的常用方法会产生过于稀疏的输出，像Qwen3-32B这样的模型只提供很少的独特置信度值。这种稀疏性严重影响了评估指标，并根据插值选择改变了模型排名。研究人员提出了一种名为‘语言化对数概率’（verbalization logprobs）的新方法，该方法在不增加推理成本的情况下解决了稀疏性问题并改进了置信度估计。 AI

影响 强调了LLM置信度估计中的关键问题，可能影响其在分类任务中的可靠性，并影响未来的评估方法。

排序理由 一篇发表在arXiv上的研究论文，详细介绍了LLM的评估方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• alphaXiv
• arXiv
• AUARC
• CatalyzeX
• DagsHub
• Gotit.pub
• Hugging Face
• Qwen3 32B
• ScienceCast
• SST-2 Benchmark
• verbalization logprobs

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →