Bundesautobahn 100

新的MoE技术通过计算-通信重叠提升LLM效率

研究人员开发了一种新方法来提高混合专家（MoE）模型的效率，这对于扩展大型语言模型至关重要。他们的方法侧重于通过使用瓦片级信号和调度来重叠专家计算与通信阶段，特别是all-to-all通信的返回阶段。这种细粒度技术涉及一个持久计算内核和一个专用的通信内核，以最小化延迟并提高GPU利用率。在4-A100 GPU平台上进行的评估显示，速度显著提升，端到端性能提高了2.64倍。