实体
Romeva
Romeva
PulseAugur coverage of Romeva — every cluster mentioning Romeva across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新方法ROMEVA改进罗马乌尔都语语言模型适应性
一篇新研究论文介绍了一种名为ROMEVA的方法，用于扩展多语言语言模型（如mBERT）的词汇表，以更好地处理像罗马乌尔都语这样形态不一致的语言。罗马乌尔都语不一致的拼写导致显著的子词碎片化，平均每个词元（token）有1.50个子词。ROMEVA结合了子词初始化和PCA引导的锚定损失，以在词汇扩展期间稳定词嵌入。在罗马乌尔都语语料库上的实验表明，尽管ROMEVA最有效地保持了词嵌入空间，但朴素的微调在下游情感分类任务上产生了更好的性能…
-
新方法ROMEVA改进罗马乌尔都语语言模型词汇
研究人员开发了ROMEVA，一种用于扩展多语言语言模型（如mBERT）词汇量的新方法，以更好地处理拼写不一致的语言，例如罗马乌尔都语。该方法结合了子词初始化和PCA引导的锚定损失，以在词汇扩展过程中稳定嵌入。虽然ROMEVA有效地保留了预训练的嵌入空间，但在下游情感分类任务中，直接在罗马乌尔都语语料库上对模型进行微调可获得更优越的性能，这表明对于形态不一致的语言来说，严格的嵌入保留可能并非总是最优的。