PulseAugur
中
实时 17:43:45
English(EN) OpenLID-v3: Improving the Precision of Closely Related Language Identification -- An Experience Report

OpenLID-v3 增强了紧密相关语言的语言识别能力

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 OpenLID-v3，这是一个增强型语言识别系统，旨在提高区分紧密相关语言和过滤网络数据噪声的准确性。更新后的系统包含了更多训练数据，合并了存在问题的语言变体簇，并引入了专门的噪声检测标签。在各种基准测试中，与 GlotLID 等现有工具进行评估，重点关注斯拉夫语、罗曼语和斯堪的纳维亚语等语言组，结果表明，虽然集成方法提高了精度，但可能会降低低资源语言的覆盖范围。OpenLID-v3 系统及其相关数据集现已公开提供。 AI

排序理由 该集群包含一篇关于新版语言识别系统的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Mariia Fedorova, Nikolay Arefyev, Maja Buljan, Jind\v{r}ich Helcl, Stephan Oepen, Egil R{\o}nningstad, Yves Scherrer ·

    OpenLID-v3: Improving the Precision of Closely Related Language Identification -- An Experience Report

    arXiv:2602.13139v3 Announce Type: replace Abstract: Language identification (LID) is an essential step in building high-quality multilingual datasets from web data. Existing LID tools (such as OpenLID or GlotLID) often struggle to identify closely related languages and to disting…

相关话题