IndicBERT-V2

新型多语言模型NE-BERT助力九种东北印度语言的NLP发展

研究人员开发了NE-BERT，这是一种专为九种代表性不足的东北印度语言设计的新型多语言语言模型。该模型在约830万个句子上进行了训练，在这些低资源语言的困惑度和分词方面，其性能显著优于IndicBERT-V2和MuRIL等现有模型。NE-BERT通过积极的上采样解决了词汇碎片化问题，并在词性标注等下游任务中展示了实际效用，其代码和数据已发布，以促进进一步的NLP研究和数字包容性。