Khang Vo Nhat Hoang

新语料库应对越南少数民族语言的自然语言处理挑战

研究人员开发了CKTN，这是一个新的语料库和基准，旨在解决越南少数民族语言（特别是占族、高棉语和岱依-农语）在自然语言处理资源稀缺的问题。该语料库包含44,367份文档和2400万个子词标记，突显了现有多种语言编码器由于脚本和标准化差异而在这些语言上遇到的困难。开发了一种新颖的脚本感知适应方法，包括词汇增强和校准替换标记预训练，以提高模型性能并减少碎片化，从而获得更强的分类结果。