OpenGATE

LLM 评估指标在检测 AI 虚假信息方面存在显著差异

一项近期实验比较了两种流行的 LLM 作为评委（LLM-as-judge）的忠实度指标 Ragas 和 DeepEval，揭示了它们在检测虚假信息方面的显著差异。尽管两种指标都应用于使用 GPT-4o 的相同虚假 RAG 系统输出，但 Ragas 将该虚假信息评为 0.0，而 DeepEval 则一致将其评为 1.0，甚至称赞该输出准确无误。实验强调，LLM 评委擅长检测意义的颠倒，但在遗漏方面却表现不佳，例如遗漏关键信息（如药物剂量…