ExFusion 方法通过多专家融合提高 Transformer 训练效率

研究人员开发了 ExFusion，一种旨在提高 Transformer 模型效率的新型预训练方法。该方法在初始化期间将前馈网络 (FFN) 升级为多专家配置，并分配权重以供后续参数融合。在训练过程中，这些专家会融合为单个统一专家，与标准的密集训练相比，计算成本大大降低。训练后，融合专家消除了额外的存储和部署开销，并且在计算机视觉和自然语言处理任务上的实验结果证明了其有效性。 AI

影响 该方法有望实现更高效的大型 AI 模型训练，降低计算成本和部署开销。

排序理由 该集群包含一篇详细介绍 Transformer 模型训练新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• alphaXiv
• arXiv
• CatalyzeX
• CORE Recommender
• DagsHub
• ExFusion
• Gotit.pub
• Hugging Face
• Mixture of Experts (MoE)
• ScienceCast
• Suncheng Xiang
• Transformer

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →