FreeBalance

FreeBalance框架通过工作负载预测优化MoE模型推理

研究人员开发了FreeBalance，一个旨在提高分布式推理过程中专家混合（MoE）模型效率的新颖框架。该系统解决了负载不平衡问题，即负载过重的节点会拖慢全局执行并增加延迟。FreeBalance通过预测残余工作负载并将专家迁移与前置计算阶段重叠来实现这一点，从而有效地隐藏了平衡开销。实验证明，负载不平衡和端到端预填充延迟得到了显著降低。