AtomEval

AtomEval框架改进了对抗性声明的事实核查评估

研究人员推出AtomEval，一个旨在更准确地评估事实核查系统中使用的对抗性声明的新框架。与关注表面相似性的现有指标不同，AtomEval将声明分解为主题-关系-对象-修饰语（SROM）原子，以评估真值条件一致性并检测事实错误。在FEVER数据集上的实验表明，AtomEval提供了更可靠的评估信号，并揭示了在这一考虑有效性的方法下，更强的语言模型并不总是能生成更有效的对抗性声明。