实体
PixelMoE
PixelMoE
PulseAugur coverage of PixelMoE — every cluster mentioning PixelMoE across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
PixelMoE 将 LLM 风格的混合专家模型应用于像素空间扩散模型
研究人员推出了一种新颖的像素空间扩散模型 PixelMoE，该模型利用 LLM 风格的混合专家模型 (MoE) 实现高效扩展。与传统的密集模型不同，PixelMoE 使用稀疏计算，并结合了细粒度的专家和用于共享表示的通用专家。这种方法与像素空间分层流匹配相结合，实现了输入自适应稀疏计算，并在不同模型规模下提高了性能。PixelMoE 在 ImageNet-1K 上取得了具有竞争力的 FID 分数，在活跃参数数量相当的情况下，其性能优于…
-
扩散模型通过新架构和训练方法取得进展 · 跟踪10个来源
研究人员正在探索各种领域的先进扩散模型，包括Apple的文本、图像和音频的三模态生成，以及使用扩散模型的无数据训练方法来处理晶格场论。PixelMoE将专家混合引入像素空间扩散，以实现高效扩展，而Bridge Matching Sampler提供了从非归一化密度进行可扩展和稳定的采样。新的基于Transformer的方法使扩散模型能够进行上下文学习，以适应未见过的分布，并且\b-Flow将扩散和基于流的模型泛化到逆问题。此外，Cach…