SharpMoE

新的 SharpMoE 框架通过准确路由增强扩散模型

研究人员开发了 SharpMoE，一个旨在提高视觉生成中使用的专家混合（MoE）扩散模型的效率和性能的新框架。该框架解决了路由分配问题，现有模型由于依赖嘈杂的潜在特征而未能为显著的 token 分配足够的计算资源。SharpMoE 利用干净的潜在特征进行路由指导，并引入了轨迹路由损失，以确保在整个去噪过程中精确分配资源。这种即插即用的解决方案增强了预训练的 MoE 模型，在视觉生成方面取得了最先进的成果。