Distribution Matching Distillation
PulseAugur coverage of Distribution Matching Distillation — every cluster mentioning Distribution Matching Distillation across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
新的IDM技术通过矩约束提升文本到图像生成能力
研究人员开发了内在分布匹配（IDM）技术，这是一种新颖的技术，用于增强少步文本到图像生成。IDM将显式的矩约束纳入分布匹配蒸馏，从而能够用更少的网络评估来更好地渲染长文本提示。在Z-Image-Turbo 6B和Qwen-Image 20B等模型上的实验证明了IDM的有效性，在LongText-Bench基准测试上取得了最先进的成果。
-
新技术通过表示强制增强少样本视频生成
研究人员推出了一种新颖的方法，称为自监督表示强制（Self Flow Forcing, SF$^2$），通过将表示学习纳入分布匹配蒸馏来改进少样本视频生成。该方法解决了现有方法仅依赖于输出空间目标的局限性，这些目标在蒸馏步数减少时可能导致空间结构和时间动态退化。SF$^2$通过在学生模型和EMA教师模型之间创建信息不对称来整合预测表示损失，迫使学生模型预测教师模型的内部表示。实验表明，SF$^2$减少了时间闪烁，提高了空间保真度和运动…
-
AdvFidelity 集成偏好对齐和少样本图像生成
研究人员推出 AdvFidelity，一种新颖的方法，可在单一强化学习 (RL) 阶段统一偏好对齐和高效的少样本图像生成。该方法通过在线对抗性奖励集成伪影敏感保真度监督，从而无需依赖传统的多阶段蒸馏技术即可实现联合奖励对齐和高保真度生成。AdvFidelity 在各种任务和模型骨干上展示了与全步 RL 方法相比具有竞争力的性能，同时使用的生成步数显著减少。
-
新的数据空间迭代方法改进了生成模型采样
研究人员开发了一种新的少步生成框架，称为数据空间迭代，它消除了生成模型中对流离散化的需求。该方法允许共享生成器直接在数据空间中优化其预测，每次迭代都经过训练以在其能力范围内产生最佳样本。当与分布匹配蒸馏（DMD）集成时，数据空间迭代在条件图像生成方面表现出优于标准离散化基线，而无需进行特定于计划的训练。
-
新的MBDMD方法连接了漂移模型和分布匹配蒸馏
本文介绍了多带宽分布匹配蒸馏（MBDMD），这是分布匹配蒸馏（DMD）的一项进展。研究人员建立了扩散与流式生成模型（DFSGMs）与漂移模型之间的联系，并注意到它们具有相似的优化目标。本文通过将DFSGMs的速度场或噪声场转换为吸引力场，并从生成分布中估计排斥力场，证明了训练漂移模型等同于DMD。
-
新的数据空间迭代方法加速生成模型采样
研究人员开发了一种新的少步生成框架，称为数据空间迭代，它消除了生成模型中流离散化的需要。该方法允许共享生成器直接在数据空间中改进其预测，每次迭代都经过训练，以在其能力范围内产生最佳样本。当与分布匹配蒸馏（DMD）集成时，数据空间迭代在类条件ImageNet 256x256上表现出优于标准离散化基线，在不需要特定计划训练的情况下实现了可比或改进的结果。
-
新的DMAD方法通过对抗性蒸馏加速视觉生成
研究人员推出了一种新颖的、用于更快视觉生成的方法DMAD，该方法将分布匹配重新构建为分类问题。该方法无需辅助扩散模型即可训练学生模型，直接通过对抗性蒸馏学习对数密度比。DMAD在ImageNet-64x64和COCO-10K等基准测试中取得了最先进的成果，并在联合音频视频生成任务中表现出强大的性能。
-
DMAD 通过对抗蒸馏加速视觉生成
研究人员开发了 DMAD，一种新颖的对抗蒸馏方法，可显著加快视觉生成过程。与需要辅助扩散模型的先前技术不同，DMAD 使用判别器直接学习对数密度比，从而实现更快的训练和推理。该方法在图像、视频和音视频生成方面取得了最先进的成果，在 ImageNet-64x64 上单步实现了 1.04 FID 等令人印象深刻的性能指标。
-
DyMD框架通过保留交互动态来增强少样本视频生成
研究人员开发了DyMD，一个用于将大型视频扩散模型蒸馏成更小、更快的模型的新颖框架。虽然现有的分布匹配蒸馏（DMD）等方法可以在更少的步骤中生成视频，但它们常常牺牲交互动态（特别是机器人-物体运动）的保留。DyMD通过调整教师监督和批评者拟合到学生模型来解决这个问题，在保持视觉质量的同时提高了运动恢复能力。这种方法在具身视频基准和动作规划等下游任务中显示出显著的改进。
-
AI研究通过新颖的权重内化技术解决长视频记忆问题 · 跟踪7个来源
研究人员正在开发新颖的方法来增强AI模型的记忆能力，特别是用于处理长视频流。几篇论文介绍了将历史数据内化到模型权重或抽象状态中，而不是仅仅依赖上下文窗口的技术。这些方法旨在提高一致性、降低计算开销，并在各种基准测试中实现更复杂的视频生成和理解。
-
新方法通过解决模式崩溃和多样性损失来增强自回归视频生成
研究人员开发了两种新方法来改进自回归视频生成模型，解决了模式崩溃和多样性损失的问题。第一种方法Mask Forcing在自回滚过程中注入掩码的更清洁信号，以防止模型崩溃到少数模式，从而在不增加训练数据的情况下提高视觉质量。第二种方法Uncertainty DMD在生成过程的关键阶段引入不确定性，包括时间步扰动和随机缓存写入，以恢复通过少步蒸馏生成的视频中的多样性和运动动态。
-
DynaForcing框架解决了头像生成的动态崩溃问题
研究人员推出DynaForcing，一个旨在通过解决动态崩溃问题来改进音频驱动的头像生成的新训练框架。这种现象会导致学生模型产生具有高视觉质量但时间动态受抑制的静态输出，破坏唇形同步和表情。DynaForcing采用三种策略：混合强制（Hybrid Forcing）将输出锚定到真实值，动态感知奖励正则化（Dynamics-Aware Reward Regularization）来抵消蒸馏目标中的偏差，以及参考扰动（Reference …
-
SQuad框架通过子二次注意力大幅降低视频Transformer的计算成本
研究人员开发了SQuad，一个子二次注意力蒸馏框架，旨在提高视频扩散Transformer（DiTs）的效率。该新方法降低了自注意力机制的计算成本，该机制通常随token数量呈二次方增长。SQuad实现了O(n√n)的复杂度，显著降低了FLOPs和延迟，同时保持了可比的视频生成质量。
-
DistillAlign 通过分布对齐改进视频蒸馏
研究人员推出了一种新颖的自回归视频蒸馏方法 DistillAlign，解决了现有分阶段流水线的局限性。该方法强调学生模型和教师模型之间的分布对齐，提出了一种结合分布匹配蒸馏 (DMD) 和一致性蒸馏的联合蒸馏技术。该方法旨在提高生成质量、覆盖率和多样性，其表现明显优于使用更大教师模型的基线。
-
AudioX-Turbo框架实现高效多模态音频生成
研究人员推出AudioX-Turbo，一个新颖的框架，旨在从文本、视频和音频信号等各种多模态输入高效生成音频。该系统采用师生蒸馏方法，将高保真教师模型AudioX-Base蒸馏成更快的学生模型AudioX-Turbo。此过程显著减少了生成所需的采样步数，使其比现有的多步基线效率高约25倍。为了支持该框架，还创建了一个名为IF-caps-Pro的大型数据集，包含约920万个样本。
-
AMD新技术提升生成模型稳定性和保真度
研究人员开发了一种名为自适应匹配蒸馏（Adaptive Matching Distillation, AMD）的新框架，以提高少样本生成模型的稳定性和性能。AMD通过使用奖励代理来检测和逃离现有蒸馏方法难以处理的“禁区”问题。在SDXL和Wan2.1等图像和视频生成任务上的实验表明，AMD提高了样本保真度和训练鲁棒性，尤其是在SDXL上显著提升了HPSv2分数。
-
扩散模型蒸馏在高维空间中表现出“复制”行为
研究人员在扩散模型的高维蒸馏中发现了一种称为“复制”的现象。当蒸馏出的学生模型复制教师模型的原始噪声-数据配对时，就会发生这种情况，而在低维设置中并未观察到这种行为。研究表明，这种复制是由于学生模型在蒸馏过程中几何自由度有限而产生的涌现特性，而不是对抗性目标或教师记忆所致。
-
新的CDM方法增强了扩散模型蒸馏，实现了更快、更高保真度的图像生成
研究人员推出了一种新颖的连续时间分布匹配（CDM）方法，用于加速扩散模型。该方法超越了离散时间蒸馏，采用了动态、连续的时间表和轨迹外匹配目标。CDM旨在提高少步扩散过程中的图像生成保真度和细节保留，而无需复杂的辅助模块（如GAN）。