Suncheng Xiang

ExFusion 方法通过多专家融合提高 Transformer 训练效率

研究人员开发了 ExFusion，一种旨在提高 Transformer 模型效率的新型预训练方法。该方法在初始化期间将前馈网络 (FFN) 升级为多专家配置，并分配权重以供后续参数融合。在训练过程中，这些专家会融合为单个统一专家，与标准的密集训练相比，计算成本大大降低。训练后，融合专家消除了额外的存储和部署开销，并且在计算机视觉和自然语言处理任务上的实验结果证明了其有效性。