Periodic Row-wise Muon

新型优化器提升扩散Transformer训练效率

研究人员开发了一种名为周期性逐行Muon（Periodic Row-wise Muon）的新优化技术，以提高扩散Transformer（DiTs）的训练效率。该方法基于原始Muon优化器，通过减少完全谱更新的频率，并对剩余步骤使用计算效率更高的逐行更新。协同设计的分布式实现通过直接操作分片动量并使计算与通信重叠来进一步提高速度。新技术在保持生成质量不变或略有提高的同时，显著减少了优化器时间、步长时间和通信量，从而提高了训练大型DiTs的效率。