GlotLID

OpenLID-v3 增强了紧密相关语言的语言识别能力

研究人员开发了 OpenLID-v3，这是一个增强型语言识别系统，旨在提高区分紧密相关语言和过滤网络数据噪声的准确性。更新后的系统包含了更多训练数据，合并了存在问题的语言变体簇，并引入了专门的噪声检测标签。在各种基准测试中，与 GlotLID 等现有工具进行评估，重点关注斯拉夫语、罗曼语和斯堪的纳维亚语等语言组，结果表明，虽然集成方法提高了精度，但可能会降低低资源语言的覆盖范围。OpenLID-v3 系统及其相关数据集现已公开提供。