一项近期实验比较了两种流行的 LLM 作为评委（LLM-as-judge）的忠实度指标 Ragas 和 DeepEval，揭示了它们在检测虚假信息方面的显著差异。尽管两种指标都应用于使用 GPT-4o 的相同虚假 RAG 系统输出，但 Ragas 将该虚假信息评为 0.0，而 DeepEval 则一致将其评为 1.0，甚至称赞该输出准确无误。实验强调，LLM 评委擅长检测意义的颠倒，但在遗漏方面却表现不佳，例如遗漏关键信息（如药物剂量），在这种情况下，确定性检查被证明更可靠。作者提出了一种结合 LLM 评委和确定性检查的混合方法，以实现对 AI 系统的稳健评估。 AI
影响 凸显了当前 LLM 评估指标的关键局限性，表明需要混合方法来确保 AI 系统的可信度。
排序理由 该条目详细介绍了一项比较两个 LLM 评估指标的对照实验，展示了研究结果和提出的解决方案。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
