Visual Autoregressive modeling

新的MEPA架构通过专家混合增强视觉自回归建模

研究人员开发了MEPA，一种新颖的专家混合（MoE）架构，旨在改进视觉自回归建模。MEPA通过实现自适应专家选择来解决多尺度表示学习中的局限性，从而解耦不同尺度的表示学习。该模型还整合了外部自监督特征以增强早期阶段的语义建模，并采用了一种针对视觉自回归范式定制的残差特征聚合方案。实验表明，MEPA显著提高了训练效率和生成质量，在ImageNet 256x256基准测试中取得了优越的FID分数，同时减少了训练周期并降低了与密集基线相比的参数预算。