研究人员开发了一个名为事实消融评估（FAE）的新评估框架，以评估大型语言模型（LLM）在利用提供的证据进行事实核查方面的能力。初步结果表明，当前的LLM倾向于更多地依赖其内部参数知识，而不是所提供的证据。为了解决这个问题，提出了一个名为严格证据消融学习（REAL）的训练框架，该框架使用反事实证据监督来鼓励模型在判断事实的准确性时更加依赖证据。实验表明，与标准微调模型相比，使用REAL训练的模型表现出更强的证据依赖能力，这表明可以在确保预测与支持性证据更紧密联系的同时，实现强大的事实核查性能。 AI
影响 这项研究可以通过确保LLM基于提供的证据，而不是依赖可能过时或有偏见的内部知识，从而带来更可靠的事实核查系统。
排序理由 该集群包含一篇学术论文，详细介绍了LLM的新评估框架和训练方法。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
- arXiv
- Fact-Ablated Evaluation (FAE)
- Hugging Face
- Large Language Models (LLMs)
- REAL (Rigorous Evidence Ablation Learning)
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
