Deepa Tilwani

新的REASONS基准解决了LLM在科学文献中引用幻觉问题

研究人员推出了REASONS，这是一个新的基准，旨在评估大型语言模型（LLM）在生成科学文献时引用归因的准确性。该基准包含来自不同arXiv类别的12,000多个引用实例，并采用了弃权率（AR）和幻觉率（HR）的双重指标框架。实验表明，虽然先进的检索增强生成（RAG）方法与朴素RAG相比显著降低了幻觉率，但在对抗性设置下仍可能导致高幻觉率。人工评估表明，事实性幻觉与可接受的释义之间存在显著比例，这凸显了LLM在不确定时适当弃权的必要性。