新方法ROMEVA改进罗马乌尔都语语言模型词汇

研究人员开发了ROMEVA，一种用于扩展多语言语言模型（如mBERT）词汇量的新方法，以更好地处理拼写不一致的语言，例如罗马乌尔都语。该方法结合了子词初始化和PCA引导的锚定损失，以在词汇扩展过程中稳定嵌入。虽然ROMEVA有效地保留了预训练的嵌入空间，但在下游情感分类任务中，直接在罗马乌尔都语语料库上对模型进行微调可获得更优越的性能，这表明对于形态不一致的语言来说，严格的嵌入保留可能并非总是最优的。 AI

影响 这项研究为适应形态不一致的语言提供了新的语言模型方法，有可能提高低资源NLP任务的性能。

排序理由 该集群包含一篇学术论文，详细介绍了语言模型词汇扩展的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

• Hugging Face
• multilingual-BERT
• natural language processing
• principal component analysis
• Roman Urdu
• ROMEVA

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →