SHAM-Bench

新的SHAM-Bench基准评估跨任务的LLM幻觉检测能力

研究人员推出SHAM-Bench，一个旨在评估大型语言模型在多个自然语言生成任务中跨度级幻觉检测能力的新基准。该基准在通用模式和评估协议下整合了来自现有数据集的6,461个示例。使用SHAM-Bench进行的初步评估显示，虽然领域内微调的检测器表现良好，但在分布变化下性能会下降，而具有推理能力的提示式方法在不同任务中表现出更强的鲁棒性。