研究人员推出了一种新的神经机器翻译(NMT)模型架构——EDWARD-NMT,它采用了混合专家(MoE)模型。该模型通过允许从单个训练好的检查点中提取可部署的子网络,解决了在资源受限设备上的部署挑战。主要创新包括:用于内存缩减的俄罗斯套娃式弹性维度(Matryoshka-style elastic dimensions)、使 token 能够动态选择激活专家(expert)的自适应 sigmoid 路由器(adaptive sigmoid router),以及用于增强子网络性能的双一致性目标(dual-consistency objective)。 AI
影响 这项研究有望带来更高效、更具适应性的神经机器翻译系统,使其在资源有限的设备上更容易部署。
排序理由 该集群包含一篇详细介绍神经机器翻译新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- EDWARD-NMT
- Hugging Face
- mixture of experts
- neural machine translation
- Opus 16
- PhoMT
- transformers
- WMT-14
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →