HalluTruthQA

新基准HalluTruthQA旨在检测阿拉伯语LLM的幻觉

研究人员开发了HalluTruthQA，一个旨在评估大型语言模型（LLM）在生成阿拉伯语问答响应准确性的新基准。该基准提供了一种细粒度的方法，超越了简单的检测，还包括错误定位、事实核查和不准确性解释。它包含跨越四个领域（伊斯兰知识、历史、科学和地理）的2,400个专家策展示例。对四种开源LLM（ALLaM、Falcon-H1、Qwen32和Silma）的评估显示，没有单一模型在所有评估任务上都表现出色，这凸显了幻觉评估的复杂性。