LlamaGen
PulseAugur coverage of LlamaGen — every cluster mentioning LlamaGen across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
FlashAR框架加速自回归图像生成模型
研究人员开发了FlashAR，一个新颖的后训练适应框架，旨在显著加速自回归图像生成模型。该方法引入了一个轻量级的垂直头部，以补充现有的水平头部，通过预测行和列的依赖关系来实现并行生成。FlashAR最大限度地减少了对原始训练目标的修改，保留了模型学习到的先验知识。在LlamaGen和Emu3.5上的实验表明，使用一小部分原始训练数据，在512x512图像生成方面实现了高达22.9倍的速度提升。
-
新的 MTAR 框架提高了自回归图像生成效率
研究人员推出了一种新颖的训练框架 Multi-Token Autoregressive (MTAR)，旨在提高自回归图像生成效率。MTAR 通过引入多令牌预测 (MTP) 以获得更强的监督，令牌级对比正则化 (TCR) 以提高表示可分离性，以及用于加速训练的语义丢弃 (SD) 来解决传统下一个令牌预测的局限性。这些组件仅在训练期间使用，不影响推理速度。在 ImageNet 上的实验表明，MTAR 在生成质量和训练效率之间取得了卓越的平…
-
新的强化学习框架提升图像模型的多样性和质量
研究人员开发了一个新的强化学习框架，用于改进自回归图像生成模型。该框架解决了现有方法中常见的输出多样性崩溃以及样本质量与分布覆盖率之间权衡的问题。通过引入一种新颖的分布级奖励——留一法FID（LOO-FID），该系统鼓励样本多样性并防止模式崩溃。当与用于语义和感知保真度的实例级奖励相结合时，该方法在LlamaGen和VQGAN架构上仅经过几百次微调迭代后，在质量和多样性指标上均显示出显著改进。