OrderMoE

OrderMoE框架通过专家相似性优化边缘MoE模型推理

研究人员开发了OrderMoE，一个用于在资源受限的边缘基础设施上部署混合专家（MoE）模型的新颖框架。OrderMoE通过根据功能相似性对专家进行分组来解决延迟和通信开销的挑战。该方法旨在通过在适当的时候使用本地替代专家来减少跨服务器令牌传输的需求。实验结果表明，OrderMoE显著降低了平均和尾部延迟，减少了跨服务器流量，并降低了远程专家调用率，同时推理质量仅有轻微、可控的下降。