AutoCCL

AI训练优化器将NVIDIA GPU上的AllReduce延迟降低了36%

研究人员开发了一种新颖的多智能体系统，用于优化大规模分布式AI/ML训练的集体通信库（CCL）。该系统使用长短期记忆（LSTM）网络检测网络争用，并使用具有保守Q学习的双重深度Q网络（Dueling Double DQN）动态调整CCL配置。该优化器在NVIDIA的NCCL上实现，显著降低了延迟，在NVIDIA A100 GPU的Delta集群上运行的AI工作负载上实现了高达65%的加速。