Maximum Confidence Selection

新的校准反射方法增强了LLM的置信度估计

研究人员推出了一种“校准反射”（Calibrated Reflection）方法，以改进大型语言模型（LLM）对其输出置信度的估计。该方法结合了结构化推理和一种距离感知校准技术。关键创新包括用于评估所有可能标签的最大置信度选择（MCS）方法、一种基于反射的提示机制以提高推理的可靠性，以及一种考虑标签之间序数关系的校准技术。该方法在HelpSteer2和Llama T-REx等各种数据集上，对对话式和基于事实的分类任务都显示出了有效性。