ZipCCL

ZipCCL 和 FlashOverlap 等新技术通过优化通信加速 LLM 训练

研究人员开发了 ZipCCL，一个无损压缩库，旨在通过解决通信瓶颈来加速大型语言模型的分布式训练。该库利用了针对 LLM 张量分布和 GPU 优化压缩内核的指数编码等新颖技术。在 64-GPU 集群上的评估表明，ZipCCL 可以将通信时间减少高达 1.35 倍，并实现 1.18 倍的整体训练加速，而不会损害模型质量。另外，另一项研究工作引入了 FlashOverlap，一种通过用分解的点对点通信替换集体操作来最小化分布式 LLM 训…