CIE-Scorer

新框架检测大型语言模型中不忠实的思维链推理

研究人员开发了一个名为 CIE-Scorer 的新框架，用于检测大型语言模型（LLM）的思维链（CoT）推理何时不能准确反映其内部决策过程。该方法结合了外部信号（如答案一致性）和通过追踪模型电路得出的内部计算证据。通过有效地构建句子级电路并比较内部和外部推理图，CIE-Scorer 能够识别差异，在 CoT 不忠实检测方面取得了最先进的性能，同时降低了计算成本。