PulseAugur
实时 15:33:52
English(EN) ANGOFA: Leveraging OFA Embedding Initialization and Synthetic Data for Angolan Language Model

为资源匮乏的安哥拉语言开发的新语言模型

研究人员开发了ANGOFA,一种用于创建安哥拉语言(通常资源非常匮乏)的语言模型的新方法。该方法结合了多语言自适应微调(MAFT)、有信息的嵌入初始化和合成数据。这项技术显著改进了现有模型,在下游任务上比SOTA AfroXLMR-base提高了12.3个百分点,比OFA提高了3.8个百分点。 AI

影响 弥合了资源匮乏语言在人工智能发展中的差距,有可能实现更广泛的语言包容性。

排序理由 介绍低资源语言建模新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

为资源匮乏的安哥拉语言开发的新语言模型

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Osvaldo Luamba Quinjica, David Ifeoluwa Adelani ·

    ANGOFA: Leveraging OFA Embedding Initialization and Synthetic Data for Angolan Language Model

    arXiv:2404.02534v2 Announce Type: replace Abstract: In recent years, the development of pre-trained language models (PLMs) has gained momentum, showcasing their capacity to transcend linguistic barriers and facilitate knowledge transfer across diverse languages. However, this pro…