实体
Consistent Distribution Matching
Consistent Distribution Matching
PulseAugur coverage of Consistent Distribution Matching — every cluster mentioning Consistent Distribution Matching across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的蒸馏方法加速扩散模型,降低计算成本 · 跟踪 3 个来源
研究人员开发了新的方法来使扩散模型(在生成内容方面功能强大但计算成本高昂)更快、更高效。一种方法 Sig-DEG 使用基于签名的微分方程来蒸馏预训练模型,速度提高了数百倍。另一种方法,一致分布匹配,提供了一种无需数据和模拟的蒸馏技术,以更少的训练周期匹配最先进的结果。第三种方法,渐进式无数据多步蒸馏 (PMDD),通过为不同的学生分布分配专用网络来解决多步蒸馏的局限性,从而提高收敛性并以更低的计算成本支持多种推理预算。
-
新的无数据蒸馏方法加速扩散模型
研究人员推出了一种用于加速扩散模型和流模型的新方法——一致分布匹配(CDM)。该技术通过将样本生成和分数估计统一在单个学生网络中,实现了无数据和无模拟的蒸馏。CDM仅需要一个固定的教师模型和一个可训练的学生模型,并优化单一目标。该方法在ImageNet上表现强劲,单次函数评估即可达到2.04的FID,在40个训练周期内达到1.37的FID,优于现有的无数据蒸馏基线。