UniF-MoE

UniF-MoE 框架统一自适应 MoE 计算，提高效率

研究人员推出了一种新颖的混合专家（MoE）计算框架 UniF-MoE，该框架统一了各种自适应策略。该方法将专家分解为块，允许先进行共享计算，然后再路由剩余部分。在 DomainBed 和 GLUE 基准测试上的实验表明，与现有的静态和动态 MoE 模型相比，UniF-MoE 在提高预测性能的同时，还减少了激活的计算量、推理延迟和内存使用量。