EasyBalance

EasyBalance策略降低了分布式MoE推理中的GPU空闲时间

研究人员开发了EasyBalance，一种新颖的分布式专家混合（MoE）推理跨层负载均衡策略。该方法解决了MoE模型中专家使用不均导致的效率低下问题，即托管负载较轻的设备在等待负载最重的设备时处于空闲状态。与修改专家-设备映射或引入开销的先前方法不同，EasyBalance利用层间的固有冗余来平衡工作负载，而无需更改现有设置。实验表明，GPU空闲时间显著减少，在某些情况下提高了40%以上。