Cloudless-Training

Cloudless-Training框架提升地理分布式机器学习效率并降低成本

研究人员开发了一个名为Cloudless-Training的框架，以提高跨地理分布式云资源的机器学习模型训练效率。该系统解决了广域网上的资源利用率和通信开销方面的挑战。它采用了两层架构进行弹性调度，并引入了异步随机梯度下降（SGD）结合梯度累积和跨参数服务器（PS）模型平均等新的同步策略。实验表明，在保持模型正确性的同时，显著降低了成本并加快了训练速度。