第二届AVeriTeC共享任务评估了七个开放权重的自动化事实核查系统。这些系统使用23 GB GPU,以每分钟处理一条声明的速度,对照固定的证据语料库进行评估。事实证明,数值型声明是自动化事实核查员面临的最大挑战,平均准确率为0.16,远低于位置声明0.36的准确率。 AI
影响 这项研究突显了当前AI在事实核查方面的局限性,尤其是在处理数值数据方面,指出了未来发展的方向。
排序理由 该集群描述了专注于评估自动化事实核查系统的共享任务的结果,属于研究范畴。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →