研究人员推出Arafa,一个为现代标准阿拉伯语事实核查设计的大规模新数据集。该数据集采用了一个三步自动化框架创建,该框架利用大型语言模型(LLMs)从阿拉伯语维基百科生成声明以及支持或反驳的证据。该数据集包含超过181,000个声明-证据对,初步评估显示了高度的标注者间一致性和自动验证的高准确性。在Arafa上微调基于Transformer的模型取得了有希望的结果,最佳模型在测试数据上达到了77%的宏观F1分数,凸显了其在推进阿拉伯语自然语言处理事实核查方面的效用。 AI
影响 该数据集有望显著提高阿拉伯语内容事实核查工具的准确性和可用性。
排序理由 该集群描述了一篇介绍特定NLP任务数据集的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Arabic Wikipedia
- Arafa
- Christophe Khalil
- Cohen's kappa
- Hugging Face
- Macro F1-score
- Modern Standard Arabic
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →