UBC-NLP/cheetah-base

新模型通过纠正书写异常来改进 Hausa 自然语言处理

研究人员开发了一种自动纠正 Hausa 文本中书写异常的方法，例如字符替换和间距错误，这些异常经常阻碍自然语言处理应用。他们创建了一个包含超过 400,000 个噪声-干净 Hausa 句子对的数据集，并对包括 M2M100 和 AfriTeVA 在内的各种基于 Transformer 的模型进行了微调。实验表明，M2M100 等模型取得了最先进的结果，证明纠错显著提高了低资源语言的文本分类和机器翻译等下游任务。