研究人员开发了EasyBalance，一种新颖的分布式专家混合（MoE）推理跨层负载均衡策略。该方法解决了MoE模型中专家使用不均导致的效率低下问题，即托管负载较轻的设备在等待负载最重的设备时处于空闲状态。与修改专家-设备映射或引入开销的先前方法不同，EasyBalance利用层间的固有冗余来平衡工作负载，而无需更改现有设置。实验表明，GPU空闲时间显著减少，在某些情况下提高了40%以上。 AI
影响 优化了大型MoE模型的推理效率，可能降低计算成本和延迟。
排序理由 详细介绍AI模型推理新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
