Wei Gao

OctoPipe系统通过减少管道气泡来优化LLM训练

研究人员开发了OctoPipe，一个旨在通过解决管道气泡来提高大型语言模型（LLM）训练效率的新系统。该系统联合优化模型组件的分区、放置和调度。OctoPipe利用基于图的模拟器进行性能建模，并使用迭代调谐器来导航复杂的搜索空间，从而实现计算和通信的动态编排。实验表明，与现有最先进的方法相比，OctoPipe在各种模型和GPU集群大小上可实现高达1.44倍的吞吐量提升。