Distribution Matching Distillation
PulseAugur coverage of Distribution Matching Distillation — every cluster mentioning Distribution Matching Distillation across labs, papers, and developer communities, ranked by signal.
-
AudioX-Turbo框架实现高效多模态音频生成
研究人员推出AudioX-Turbo，一个新颖的框架，旨在从文本、视频和音频信号等各种多模态输入高效生成音频。该系统采用师生蒸馏方法，将高保真教师模型AudioX-Base蒸馏成更快的学生模型AudioX-Turbo。此过程显著减少了生成所需的采样步数，使其比现有的多步基线效率高约25倍。为了支持该框架，还创建了一个名为IF-caps-Pro的大型数据集，包含约920万个样本。
-
AMD新技术提升生成模型稳定性和保真度
研究人员开发了一种名为自适应匹配蒸馏（Adaptive Matching Distillation, AMD）的新框架，以提高少样本生成模型的稳定性和性能。AMD通过使用奖励代理来检测和逃离现有蒸馏方法难以处理的“禁区”问题。在SDXL和Wan2.1等图像和视频生成任务上的实验表明，AMD提高了样本保真度和训练鲁棒性，尤其是在SDXL上显著提升了HPSv2分数。
-
扩散模型蒸馏在高维空间中表现出“复制”行为
研究人员在扩散模型的高维蒸馏中发现了一种称为“复制”的现象。当蒸馏出的学生模型复制教师模型的原始噪声-数据配对时，就会发生这种情况，而在低维设置中并未观察到这种行为。研究表明，这种复制是由于学生模型在蒸馏过程中几何自由度有限而产生的涌现特性，而不是对抗性目标或教师记忆所致。
-
新的CDM方法增强了扩散模型蒸馏，实现了更快、更高保真度的图像生成
研究人员推出了一种新颖的连续时间分布匹配（CDM）方法，用于加速扩散模型。该方法超越了离散时间蒸馏，采用了动态、连续的时间表和轨迹外匹配目标。CDM旨在提高少步扩散过程中的图像生成保真度和细节保留，而无需复杂的辅助模块（如GAN）。