PulseAugur
中
实时 23:23:56
English(EN) AtomEval: Atomic Evaluation of Adversarial Claims in Fact Verification

AtomEval框架改进了对抗性声明的事实核查评估

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出AtomEval，一个旨在更准确地评估事实核查系统中使用的对抗性声明的新框架。与关注表面相似性的现有指标不同，AtomEval将声明分解为主题-关系-对象-修饰语（SROM）原子，以评估真值条件一致性并检测事实错误。在FEVER数据集上的实验表明，AtomEval提供了更可靠的评估信号，并揭示了在这一考虑有效性的方法下，更强的语言模型并不总是能生成更有效的对抗性声明。 AI

影响 为事实核查系统引入了一种更鲁棒的评估方法，可能提高对抗性测试对LLMs的可靠性。

排序理由 该集群描述了一篇介绍事实核查中对抗性声明新评估框架的学术论文。

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

AtomEval框架改进了对抗性声明的事实核查评估

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Hongyi Cen ·

    AtomEval: Atomic Evaluation of Adversarial Claims in Fact Verification

    arXiv:2604.07967v2 Announce Type: replace Abstract: Adversarial claim rewriting is widely used to test fact-checking systems, but standard metrics fail to capture truth-conditional consistency and often label semantically corrupted rewrites as successful. We introduce AtomEval, a…

相关实体

相关话题