Hailay Kidu Teklehaymanot

新的 VEXMLM 模型提升了非洲语言的性能

研究人员开发了 VEXMLM，这是一种新的语言模型，旨在提高低资源非洲语言（特别是使用埃塞俄比亚文字的阿姆哈拉语和提格利尼亚语）的性能。该模型解决了主要在拉丁字母脚本上训练的多语言模型中常见的词汇外比率高和子词碎片化问题。VEXMLM 使用自定义的 SentencePiece 分词器和扩展词汇表，在 19 种非洲语言的问答、命名实体识别和情感分析任务中取得了显著的进步。