Self-Auditor

新框架通过神经符号验证诊断大语言模型推理错误

研究人员开发了 SymDiag，一个新颖的神经符号框架，用于诊断大语言模型 (LLM) 推理中的失败。与关注结果或主观批评的现有方法不同，SymDiag 将自然语言的思维链转化为符号约束，进行逐级验证。它可以精确定位具体的推理错误，并提供可验证的证据，例如反例或缺失的前提。一项关键创新是其“自我审计器”，它区分真正的推理缺陷和神经到符号翻译产生的噪声，从而能够提供更强大、更有效的反馈来改进 LLM 推理。