SiT-style diffusion transformers

新的 MMOE 架构提高了 AI 内容生成的效率

研究人员推出了一种新的扩散 Transformer 架构 ModernMOE (MMOE)，旨在提高 AI 生成内容的效率和质量。与以往主要增加参数数量的稀疏专家模型不同，MMOE 借鉴了高效大型语言模型缩放的原理，例如路由专家、共享轻量级专家和注意力残差信息重用。实验表明，即使在单个八 GPU 节点上进行训练，MMOE 也能在质量-成本平衡和收敛速度方面优于密集模型和其他稀疏专家基线。