乌尔都语虚假新闻检测受数据集长度混淆因素的阻碍

研究人员对乌尔都语虚假新闻检测进行了研究，强调了跨数据集泛化的重大挑战。使用 XLM-RoBERTa 模型和两个不同的乌尔都语数据集，研究发现，从 Notri-Fact 数据集迁移到 Ax-to-Grind 语料库可获得不错的 F1 分数 0.771，但反向迁移则导致性能几乎完全崩溃，F1 分数仅为 0.005。这种急剧的性能下降归因于 Ax-to-Grind 数据集中的长度混淆因素，其中虚假新闻文章比真实文章长得多，导致模型产生捷径学习。该研究提出了一种诊断方法，用于识别多语言虚假新闻检测中此类由混淆因素驱动的行为。 AI

影响 强调了自然语言处理模型在鲁棒的跨数据集泛化方面的关键需求，特别是对于资源匮乏的语言，以防止捷径学习。

排序理由 学术论文，详细介绍了一项关于虚假新闻检测的新实证研究。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Ax-to-Grind Urdu corpus
• Logistic Regression
• Notri-Fact Urdu dataset
• Urdu
• XLM-RoBERTa

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →