Grigory Bartosh

Dual-Rate Diffusion 使用交错的重-轻网络加速生成模型

研究人员开发了一种名为 Dual-Rate Diffusion 的新方法，可显著加快扩散模型的推理过程。该技术涉及在高容量上下文编码器和轻量级去噪模型之间交替使用。上下文编码器稀疏地提取特征，然后由较轻的模型在每一步重复使用这些特征，以有效地优化生成的样本。这种方法在 ImageNet 基准测试上将计算成本降低了 2-4 倍，同时不牺牲样本质量，并且与蒸馏方法兼容，可进一步提升性能。