CommunityFact

新的CommunityFact基准测试LLM的错误信息检测能力

研究人员推出了CommunityFact，这是一个新的基准，旨在评估大型语言模型在动态、多语言和多领域在线环境中检测错误信息的能力。该基准包含五种语言和两个领域的超过15,000个声明，评估了具有不同推理时间能力（如网络搜索）的LLM。研究结果表明，虽然网络访问显著提高了性能，但LLM的来源选择通常与人类评估者的一致意见不同，这表明需要改进检索机制。