Sanjoli Narang

新的MLCC技术将DNN训练速度提高了2.7倍

研究人员开发了MLCC，一种旨在加速共享GPU集群中深度神经网络（DNN）训练的新型拥塞控制技术。MLCC通过允许DNN训练流调整其发送速率，以便在计算期间与其他通信交错进行。该方法只需要对现有协议进行最少的代码更改，并已在作业完成时间方面取得了显著改进，平均和99百分位训练迭代时间分别减少了高达1.9倍和2.7倍。模拟还表明，在大型Fat-tree拓扑上训练吞吐量增加了1.35倍。