Anastasiia Sedova

New LINK method boosts multilingual model training with lexical swaps

研究人员开发了一种新颖的数据级干预方法，称为LINK，以增强多语言语言模型中的跨语言知识转移，特别是对于训练数据有限的语言。该技术涉及使用双语词汇将高资源语言（例如英语）训练语料库中的单词替换为其翻译。该方法不需要额外的模型训练或平行数据，从而显著降低了提高低资源语言下游任务性能的成本和复杂性。在八种语言和五种模型规模上的评估表明，在实现同等性能的情况下，性能有了显著提高，训练速度最高可提高一倍。