Xinhao Zhong

新方法利用扩散模型实现高效数据集蒸馏

研究人员开发了一种新颖的数据集蒸馏框架，该框架利用预训练的扩散模型进行斑块选择，而不是直接生成图像。该方法通过预测扩散模型的噪声来识别独特的图像区域，从而解决了分布偏移和多步蒸馏等挑战。然后，该方法应用类内聚类和排序来确保斑块多样性，从而实现简化的单步蒸馏过程。实验表明，该方法在 ImageNet-1K 等大型数据集和 ResNet-101 等复杂网络上的指标和设置方面，始终优于现有技术。