研究人员推出了一种新颖的像素空间扩散模型 PixelMoE,该模型利用 LLM 风格的混合专家模型 (MoE) 实现高效扩展。与传统的密集模型不同,PixelMoE 使用稀疏计算,并结合了细粒度的专家和用于共享表示的通用专家。这种方法与像素空间分层流匹配相结合,实现了输入自适应稀疏计算,并在不同模型规模下提高了性能。PixelMoE 在 ImageNet-1K 上取得了具有竞争力的 FID 分数,在活跃参数数量相当的情况下,其性能优于密集像素空间和潜在空间生成模型。 AI
影响 引入了一种扩展像素空间扩散模型的新颖方法,有望提高图像生成的效率和性能。
排序理由 研究论文,详细介绍了新的模型架构和技术。 [lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- LLM-Style
- Mixture of Experts (MoE)
- PixelMoE
- Pixel-Space Hierarchical Flow Matching
- Ruixiao Dong
- Token-Choice (TC)
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →