Nüwa

NuWa方法为边缘设备创建专门的、轻量级的视觉Transformer

研究人员开发了NuWa，一种用于创建轻量级、特定类别的视觉Transformer（ViTs）的新颖方法，该方法针对边缘设备进行了优化。现有的压缩技术通常会保留冗余信息，导致在专门任务上的性能不佳。NuWa通过净化知识以去除对特定类别有害的权重，并使用闭式优化高效推导紧凑型ViTs来解决此问题。这种方法在无需进行后剪枝再训练的情况下，显著加快了推理速度并提高了特定类别的准确性，在效率和性能方面均优于当前方法。