Verbalized confidence

大语言模型可以陈述置信度，但校准仍是挑战

研究人员正在探索提高大语言模型（LLM）自我报告置信度水平可靠性的方法。一种关键技术涉及提示大语言模型以百分比形式明确陈述其置信度，然后可以解析并用于门控或路由响应。然而，这些陈述百分比的准确性，即所谓的校准，至关重要且常常缺失。通过按置信度对预测进行分箱并测量经验准确性，或计算预期校准误差（ECE）等方法，用于评估这种校准。由于其训练数据和强化学习（奖励听起来果断的响应），大语言模型往往过于自信。