Sourish Wawdhane

GEM 框架优化 MoE AI 模型 GPU 映射以加快推理速度

研究人员开发了 GEM，一个旨在优化混合专家 (MoE) AI 模型中专家到 GPU 映射的框架。这种新方法考虑了 GPU 性能的变异性，旨在通过战略性地放置专家来减少推理延迟。GEM 的策略涉及分配专家，以确保 GPU 同时完成层处理，从而缓解由较慢 GPU 或过载专家引起的减速。实验表明，GEM 的端到端延迟平均可提高 7.9%，在某些情况下提高幅度高达 16.5%。