研究人员开发了 VEXMLM，这是一种新的语言模型，旨在提高低资源非洲语言（特别是使用埃塞俄比亚文字的阿姆哈拉语和提格利尼亚语）的性能。该模型解决了主要在拉丁字母脚本上训练的多语言模型中常见的词汇外比率高和子词碎片化问题。VEXMLM 使用自定义的 SentencePiece 分词器和扩展词汇表，在 19 种非洲语言的问答、命名实体识别和情感分析任务中取得了显著的进步。 AI
影响 增强了代表性不足的语言的人工智能能力，可能有助于在非洲更广泛地采用自然语言处理工具。
排序理由 该集群包含一篇学术论文，详细介绍了用于提高低资源语言的自然语言处理性能的新模型和方法。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.15209v1 Announce Type: new Abstract: Multilingual pre-trained language models (PLMs) exhibit degraded performance on low-resource, non-Latin-script languages, driven by high out-of-vocabulary (OOV) rates and excessive subword fragmentation that result from Latin-script…
Multilingual pre-trained language models (PLMs) exhibit degraded performance on low-resource, non-Latin-script languages, driven by high out-of-vocabulary (OOV) rates and excessive subword fragmentation that result from Latin-script-centric tokenizer training. We introduce VEXMLM…