研究人员开发了一个名为PAVE的新诊断测试平台，用于评估大型语言模型（LLM）在基于检索增强生成（RAG）的事实核查场景中，如何在内部知识和检索到的证据之间进行仲裁。PAVE框架根据LLM验证器先验知识和置信度将其分为四种认知状态，评估它们协调或优先处理参数信息与上下文信息的能力。对七个LLM的实验表明，其仲裁行为不一致且因模型而异，这凸显了在RAG事实核查应用中仔细选择验证器的必要性。为解决此问题，提出了一种新颖的测试时仲裁方法，在不改变模型本身的情况下提高了各类LLM的事实可靠性。 AI
影响 突出了LLM事实核查中的关键仲裁缺陷，可能指导开发更可靠的AI验证系统。
排序理由 该集群包含一篇详细介绍LLM新评估框架的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →