研究人员开发了CKTN，这是一个新的语料库和基准，旨在解决越南少数民族语言（特别是占族、高棉语和岱依-农语）在自然语言处理资源稀缺的问题。该语料库包含44,367份文档和2400万个子词标记，突显了现有多种语言编码器由于脚本和标准化差异而在这些语言上遇到的困难。开发了一种新颖的脚本感知适应方法，包括词汇增强和校准替换标记预训练，以提高模型性能并减少碎片化，从而获得更强的分类结果。 AI
影响 这项工作旨在提高代表性不足的语言的自然语言处理能力，有可能使人工智能在不同的语言社区中获得更广泛的可访问性和应用。
排序理由 该集群包含一篇学术论文，详细介绍了面向代表性不足语言的新语料库和基准。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.08362v1 Announce Type: new Abstract: Vietnam's ethnic minority languages are almost absent from the field of Natural Language Processing (NLP), and the challenge goes beyond data scarcity: Cham, Khmer, and Tay-Nung differ sharply in script, Vietnamese contact, and stan…
Vietnam's ethnic minority languages are almost absent from the field of Natural Language Processing (NLP), and the challenge goes beyond data scarcity: Cham, Khmer, and Tay-Nung differ sharply in script, Vietnamese contact, and standardization, conditions under which standard mul…