Fact-Ablated Evaluation (FAE)

新框架测试LLM在事实核查中的证据依赖性

研究人员开发了一个名为事实消融评估（FAE）的新评估框架，以评估大型语言模型（LLM）在利用提供的证据进行事实核查方面的能力。初步结果表明，当前的LLM倾向于更多地依赖其内部参数知识，而不是所提供的证据。为了解决这个问题，提出了一个名为严格证据消融学习（REAL）的训练框架，该框架使用反事实证据监督来鼓励模型在判断事实的准确性时更加依赖证据。实验表明，与标准微调模型相比，使用REAL训练的模型表现出更强的证据依赖能力，这表明可以在确保…