HaluCheck

新的基准 HaluCheck 显示 LLM 在多维度幻觉检测方面存在困难

研究人员开发了 HaluCheck，这是一个旨在评估和改进大型语言模型 (LLM) 多维度幻觉检测能力的新基准。该基准包含超过 42,000 个实例，涵盖文本中的事实不准确性以及代理行为中的忠实度问题。对十四个 LLM 的实验表明，虽然模型可以检测基本幻觉，但在精确本地化、纠正以及识别与代理相关的幻觉方面存在困难。诸如思维链提示、网络搜索集成和监督微调等技术提供了部分改进，但未能完全解决问题。