实体
ClaimReview2025Q4
ClaimReview2025Q4
PulseAugur coverage of ClaimReview2025Q4 — every cluster mentioning ClaimReview2025Q4 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
动态评估后，事实核查基准仍存在污染
一项新研究考察了多模态自动事实核查（MAFC）动态评估基准中的污染风险。研究发现，即使是设计用于处理知识截止日期后声明的基准，仍然存在污染问题，其中 17-29% 的声明可能使用截止日期前的知识进行验证。这种污染会将 MAFC 性能估计值最多提高 11.34 个 Macro-F1 分数，并改变系统排名。该研究提出了通过严格控制污染来获得更值得信赖的 MAFC 评估指南。
-
研究发现：事实核查基准存在“污染”缺陷 · 已追踪2个来源
一篇新的研究论文对评估多模态自动事实核查（MAFC）系统的现有基准的有效性提出了质疑。研究表明，即使是使用在大型语言模型（LLM）知识截止日期之后发布的声明的动态基准，仍然存在污染问题。这种污染，即声明可以通过预先存在的知识进行验证，可以将性能指标最多提高11.34个Macro-F1点，并扭曲系统排名。研究人员提出了更值得信赖的MAFC评估的实用指南。