mBART-50
PulseAugur coverage of mBART-50 — every cluster mentioning mBART-50 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新型 Transformer 模型改进泰米尔语拼写和语法纠错
研究人员开发了一种新的泰米尔语拼写和语法纠错方法。泰米尔语是一种具有复杂语音规则的黏着语。他们的方法使用了渐进式微调的序列到序列 Transformer，特别是 mT5-small 和 mBART-50 模型，在一个大型合成语料库上进行了训练。这种多阶段训练计划针对从表面噪声到上下文语法和连读规则的不同错误类型，显著提高了在诊断集上的准确性。研究还强调了连读回忆率和同一性准确率之间的权衡，并表明一个通用的泰米尔语适应指令模型在没有特定…
-
新的孟加拉语翻译系统连接12种地区方言
研究人员开发了一种新颖的多方言神经机器翻译系统，旨在解决孟加拉语方言差异带来的重大挑战。该系统可以在12种地区孟加拉语方言之间进行翻译，而无需中间标准语言。经过微调的BanglaT5模型利用权重分解低秩适配（DoRA），取得了最先进的性能，优于NLLB-200和mBART-50等大型模型。该项目还汇编了迄今为止最大的孟加拉语多方言平行语料库，并发布了一个优化的模型开放访问的Web应用程序，以促进数字包容性。
-
新方法将多语言神经机器翻译模型大小缩减60%，性能无损
研究人员开发了一个新颖的框架，通过剪枝词汇来优化多语言神经机器翻译（MNMT）模型。该方法通过将词汇量从超过128,000个词元减少到约10,000个词元，显著降低了内存和计算需求，在不影响性能的情况下实现了高达60%的内存节省。在针对英阿翻译的M2M100、NLLB-200和mBART-50等模型上进行的测试中，优化后的模型在语义充分性和流畅性方面表现出与专用双语基线相当或更优的性能。
-
新的BHARATI分词器提高了古典印度语言的效率
研究人员开发了BHARATI，这是一套专为梵语和泰米尔语等古典印度语言设计的新分词器。与难以处理这些语言的黏着语形态和 संधि（sandhi）的标准算法不同，BHARATI实现了更有效的分段。这导致序列长度缩短，有效地增加了下游语言模型的上下文窗口，并提高了在专门的印度知识体系术语上的性能。
-
在 SageMaker 上使用 LoRA 微调 mBART-50 可媲美 GPT-4
一篇技术文章详细介绍了如何在 Amazon SageMaker 上使用 LoRA 微调 mBART-50 模型。该过程旨在实现与 GPT-4 在翻译任务上相当的性能。该方法涉及一个两步过程：首先生成原始输出的神经网络模型，然后进行上下文层细化。