Roman Urdu

新方法ROMEVA改进罗马乌尔都语语言模型词汇

研究人员开发了ROMEVA，一种用于扩展多语言语言模型（如mBERT）词汇量的新方法，以更好地处理拼写不一致的语言，例如罗马乌尔都语。该方法结合了子词初始化和PCA引导的锚定损失，以在词汇扩展过程中稳定嵌入。虽然ROMEVA有效地保留了预训练的嵌入空间，但在下游情感分类任务中，直接在罗马乌尔都语语料库上对模型进行微调可获得更优越的性能，这表明对于形态不一致的语言来说，严格的嵌入保留可能并非总是最优的。