研究人员开发了多语言深度学习模型，能够识别开放网络上 16 种语言的各种文本类型或“注册类型”。这些模型利用新引入的多语言 CORE语料库，该语料库包含超过 72,000 份被分为 25 种注册类型的文档。表现最佳的模型在所有语言上的平均 F1 分数达到 79%，即使在复杂的分类方案下也显示出有效性。当移除带有模糊标签的文档后，性能显著提高到 90% 以上的 F1 分数，这表明网页注册类型固有的模糊性，而非模型限制，是挑战所在。多语言模型持续优于单语模型，尤其是在训练数据较少的语言上，尽管在未见过语言上的零样本性能略有下降。 AI
影响 这项研究可以改进海量网页文本的组织和理解，可能有助于内容审核、信息检索和跨语言分析。
排序理由 该集群包含一篇学术论文，详细介绍了用于特定 NLP 任务的新深度学习模型和语料库。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
