AVeriTeC
PulseAugur coverage of AVeriTeC — every cluster mentioning AVeriTeC across labs, papers, and developer communities, ranked by signal.
-
自动化事实核查员在AVeriTeC任务中难以处理数值型声明
第二届AVeriTeC共享任务评估了七个开放权重的自动化事实核查系统。这些系统使用23 GB GPU，以每分钟处理一条声明的速度，对照固定的证据语料库进行评估。事实证明，数值型声明是自动化事实核查员面临的最大挑战，平均准确率为0.16，远低于位置声明0.36的准确率。
-
新方法通过分析大语言模型内部表征来检测错误信息
研究人员开发了一种检测错误信息的新颖方法，该方法通过分析语言模型的内部表征来检测错误信息，而不是依赖外部知识或表面文本特征。这种被称为“潜在事实核查”的方法，通过对比真实和虚假陈述，利用激活工程来识别模型潜在空间中的“错误信息方向”。然后，通过多层感知器对新声明的激活进行投影分类。该技术不需要对基础模型进行微调，并在各种模型和基准测试中显示出有希望的结果，尤其是在较小的模型上，这表明真实性是这些模型表征中的一个结构化概念。
-
新AI工作流增强写作中声明-证据的可追溯性
研究人员开发了一种名为证据账本裁决的新工作流，以提高AI代理所做声明与支持证据之间可追溯性。该系统将每个声明与证据包配对，分配支持关系，并将证据不足、被反驳或证据混合的声明路由回作者进行审查。在超过2300个声明的基准测试中，证据账本裁决系统与基线方法相比，在准确率和F1分数上均有显著提高，展示了其为AI辅助写作创建可审计层的潜力。
-
动态评估后，事实核查基准仍存在污染
一项新研究考察了多模态自动事实核查（MAFC）动态评估基准中的污染风险。研究发现，即使是设计用于处理知识截止日期后声明的基准，仍然存在污染问题，其中 17-29% 的声明可能使用截止日期前的知识进行验证。这种污染会将 MAFC 性能估计值最多提高 11.34 个 Macro-F1 分数，并改变系统排名。该研究提出了通过严格控制污染来获得更值得信赖的 MAFC 评估指南。
-
研究发现：事实核查基准存在“污染”缺陷 · 已追踪2个来源
一篇新的研究论文对评估多模态自动事实核查（MAFC）系统的现有基准的有效性提出了质疑。研究表明，即使是使用在大型语言模型（LLM）知识截止日期之后发布的声明的动态基准，仍然存在污染问题。这种污染，即声明可以通过预先存在的知识进行验证，可以将性能指标最多提高11.34个Macro-F1点，并扭曲系统排名。研究人员提出了更值得信赖的MAFC评估的实用指南。