Ekaterina Fedorova

新框架使用推理感知多校准来改进LLM可靠性预测

研究人员开发了一个名为推理感知多校准的新框架，以改进大型语言模型（LLM）的可靠性预测。该方法用基于思维链（CoT）痕迹可观察属性的分组来补充传统的基于主题的分组。通过整合CoT属性，该框架旨在减少在更广泛类别中平均时可能相互抵消的错误。在幻觉预测和不安全响应检测方面的实证测试表明，将CoT分组添加到基于主题的校准中显著降低了Brier分数，表明可靠性预测更准确。