Meta Expert

Meta Expert 方法通过跨层共享专家来提高 MoE 模型效率

研究人员推出了一种名为“Meta Expert”的新型方法，用于混合专家（MoE）模型，旨在通过跨不同层共享专家来提高效率。该方法与使用特定层“本地专家”的传统 MoE 模型形成对比。实证比较表明，Meta Expert 减少了参数冗余，从而降低了交叉熵损失并提高了下游任务的准确性。Meta Expert 模型在使用 70-80% 的专家的情况下，可以实现与 Vanilla MoE 相当的性能，显示出巨大的扩展潜力。