Yuqing Yang

新研究揭示 LLM 因内部信念状态很少承认错误

一篇新的 arXiv 论文探讨了导致大型语言模型 (LLM) 承认错误（撤回）的内部机制。研究人员发现，即使 LLM 在单独的交互中能够识别错误，它们也很少撤回不正确的答案。撤回的一个关键预测因素是模型在生成过程中的内部“信念”状态，这可能与其参数知识不同。实验表明，影响这种信念状态可以因果性地驱动撤回，并且监督微调主要通过提高这些内部信念的准确性来改善撤回。