Distributed Diffusion Training

Paris 扩散模型通过去中心化计算训练

研究人员推出 Paris，这是一种新颖的开放权重扩散模型，完全通过去中心化计算进行预训练，证明了高质量的文本到图像生成无需中心化基础设施即可实现。该模型采用分布式扩散训练框架，使用八个专家扩散模型在分区数据上独立训练，在没有同步梯度更新的情况下近似完整分布。这种方法消除了对专用互连和专用 GPU 集群的需求，能够在异构硬件上进行训练，并以显著减少的数据和计算量实现与中心协调基线相当的生成质量。