verbalization logprobs

新论文发现LLM置信度估计受稀疏性影响存在缺陷

一篇新发表在arXiv上的研究论文强调了大型语言模型（LLMs）在分类任务中估计置信度时存在的重大局限性。研究发现，像语言化这样的常用方法会产生过于稀疏的输出，像Qwen3-32B这样的模型只提供很少的独特置信度值。这种稀疏性严重影响了评估指标，并根据插值选择改变了模型排名。研究人员提出了一种名为‘语言化对数概率’（verbalization logprobs）的新方法，该方法在不增加推理成本的情况下解决了稀疏性问题并改进了置信度估计。