OmniMoE

OmniMoE 引入原子专家，实现更快、更准确的 MoE 模型

研究人员推出了一种新颖的混合专家（MoE）架构 OmniMoE，旨在提高效率和性能。OmniMoE 利用向量级原子专家和共享的密集 MLP 分支来最大化容量并保持可扩展性。该框架包含一个笛卡尔积路由器以降低复杂性，以及一个以专家为中心的调度器以优化内存访问，将分散查找转换为密集矩阵运算。在七个基准测试中，OmniMoE 展现出优越的零样本准确率，并显著降低了与现有 MoE 模型相比的推理延迟。