MoE upcycling

新的SPRI方法在数据受限情况下增强了AI模型升级

研究人员开发了一种名为SVD-Partitioned Residual Initialization (SPRI)的新方法，以改进将密集AI模型转换为更高效的专家混合（MoE）模型的过程，这项技术被称为MoE升级。该方法在处理数据有限的情况下尤其有益，因为它利用了预训练模型的结构，同时在专家之间引入了可控的多样性。SPRI在多语言语音转文本翻译任务中表现出显著的改进，优于标准的微调密集模型和以前的升级方法。