Classifier Free Guidance
PulseAugur coverage of Classifier Free Guidance — every cluster mentioning Classifier Free Guidance across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新方法修复了扩散模型中无分类器引导的不稳定性
研究人员发现扩散模型中无分类器引导(CFG)存在一个关键问题,即高引导水平会导致过饱和和不稳定性。他们提出了一种新颖的修复机制,用修改后的版本替换标准的CFG公式,在不增加计算成本的情况下有效稳定了该过程。这种新方法在测试网格上相对于传统CFG取得了显著的改进,获得了9/9个FID点数胜利,并在稳定Stable Diffusion 1.5等模型的强引导场景方面显示出潜力。
-
新框架CIPHER解决医疗AI诊断中的偏见问题
研究人员开发了一个名为CIPHER的新框架,以解决用于医学诊断的深度学习模型的性能差异问题。CIPHER干预了种族和性别等敏感属性可能影响图像内容的四个不同因果路径,而这是以前被忽视的复杂性。通过利用具有分类器自由引导和空文本反演的扩散模型,CIPHER可以重建患者解剖结构并合成反事实,以打破依赖链。在胸部X光和皮肤镜检查基准上的测试表明,与现有方法相比,CIPHER将最差组的差异平均减少了35.8%,同时还提高了整体诊断准确性。
-
新的vLLM流水线统一音频生成与理解
研究人员开发了一种利用vLLM统一音频理解和生成任务的新型推理流水线。该系统解决了高吞吐量多模态生成所面临的挑战,特别是对于采用复杂解码策略(如AR+NAR或多令牌预测)的语音语言模型。该流水线集成了片上声学解码器,用于端到端波形合成,并通过联合调度条件和无条件请求来优化无分类器引导,从而将吞吐量维持在非CFG吞吐量的约80%。
-
新研究推动扩散模型在量化、运动生成和RLHF方面的进展
研究人员开发了改进扩散模型的新方法。其中一篇论文介绍了引导感知混合精度(GAMP),以解决无分类器引导(CFG)扩散模型中的量化挑战,防止无条件分支漂移。另一篇论文提出了ARDY,一个用于文本和运动学控制的实时、高保真3D人体运动生成的框架。此外,还提出了一种名为ContrastiveCFG的新方法,通过使用对比损失来增强条件扩散模型的采样,以实现更好的概念对齐和过滤。最后,详细介绍了样本高效扩散RLHF的进展,其特点是选择性时间步加…
-
Momentum Guidance 提升流模型图像生成质量
研究人员推出了一种名为 Momentum Guidance (MG) 的新技术,旨在提升流模型生成的图像质量。MG 通过在 ODE 轨迹上推断当前速度来工作,在保持每步标准计算成本(一次评估)的同时提高了样本质量。该方法在 ImageNet-256 等基准测试中,在 Fréchet inception distance (FID) 等指标上取得了显著改进,并证明了其在应用于 Stable Diffusion 3 和 FLUX.1-de…
-
OrthoTryOn框架通过解决任务冲突增强统一时尚生成
研究人员开发了OrthoTryOn,一个旨在改进统一时尚生成模型的新框架。该方法解决了当虚拟试穿和服装重建等多个不同任务组合到单个模型中时出现的负迁移和梯度冲突问题。OrthoTryOn在低秩适应模块内利用正交子空间投影来消除任务特定特征的相关性。此外,它还结合了Fisher引导的负面指导,以减轻推理时残余的语义耦合,从而取得了超越独立训练模型的最新成果。
-
ModaFlow框架通过模态感知引导增强虚拟试穿效果
研究人员开发了ModaFlow,一个用于高保真虚拟试穿的新型框架,可改善服装语义保留和身体几何适应性。该系统利用模态感知引导方案,通过图像提示适配器的服装视觉嵌入进行结构引导,并通过无分类器引导控制文本嵌入。为提高准确性,ModaFlow引入了方向一致性和感知真实性的正则化损失,以及用于处理各种遮挡场景和非配对推理的掩码操纵策略。
-
用户蒸馏流匹配模型以实现更快、无CFG的图像生成
一位用户开发了一种将流匹配模型蒸馏为“校正流”模型的方法,从而能够以更少的步骤且无需分类器自由引导(CFG)来更快地生成图像。此过程涉及在模型生成的图像-噪声对上对训练好的流匹配模型进行微调。该技术旨在缩短和拉直生成路径,可能允许更快的推理,并通过将其烘焙到模型中来消除对CFG的需求。
-
新的先验指导方法增强了生成式AI桥模型
研究人员开发了一种名为先验指导(PG)的新型训练无关方法,以提高桥模型在生成式AI中的性能。该技术利用预训练期间未见的弱先验来增强模型利用现有信息的能力。该方法通过频率调制先验指导(FMPG)进一步完善,以更好地与生成过程对齐,并为图像修复任务提出了级联框架(CFG-FMPG)。实验表明,这些PG方法在各种图像翻译任务中持续改进了预训练的桥模型。
-
新的CFG-OEC方法提高了扩散模型采样精度
研究人员推出了一种新方法CFG-OEC,通过解决结构性采样误差来改进扩散模型的条件采样。该误差源于训练期间的采样规则与目标之间的不匹配。CFG-OEC修改了分类器自由引导过程,以减少条件和无条件预测误差之间的相互作用,从而提高图像生成质量。
-
新的AdaMaG引导通过守恒概率改进生成模型
研究人员为扩散模型和流模型生成模型开发了一种新的引导方法,称为自适应流形引导(AdaMaG)。该技术通过连续性方程分析引导,解决了现有方法(如无分类器引导(CFG))的局限性。AdaMaG通过限制散度和得分并行项,确保概率守恒,并在强引导下将生成的样本保持在学习的流形上。