研究人员推出了一种新颖的混合专家（MoE）架构 OmniMoE，旨在提高效率和性能。OmniMoE 利用向量级原子专家和共享的密集 MLP 分支来最大化容量并保持可扩展性。该框架包含一个笛卡尔积路由器以降低复杂性，以及一个以专家为中心的调度器以优化内存访问，将分散查找转换为密集矩阵运算。在七个基准测试中，OmniMoE 展现出优越的零样本准确率，并显著降低了与现有 MoE 模型相比的推理延迟。 AI
影响 OmniMoE 在效率和速度方面的进步可能会加速大规模 MoE 模型在实际应用中的采用。
排序理由 该集群包含一篇详细介绍新模型架构及其性能基准的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
