DiT-Pruning

新的DiT-Pruning方法提高了图像生成效率

研究人员开发了一种新的训练后剪枝技术，称为DiT-Pruning，专门用于扩散Transformer（DiTs），它们以其高昂的图像生成计算需求而闻名。由于DiTs独特的架构和权重分布，传统的剪枝方法对其无效。DiT-Pruning引入了定制的显著性标准，以平衡权重和激活的贡献，并采用感知聚类的粒度来更好地分配稀疏权重。实验表明，该方法在保持高稀疏度水平的情况下能有效保持图像质量，性能优于现有技术。