Kostas Alexis

研究人员为图像失真鲁棒学习提炼 Vision Transformers

研究人员开发了一个新的知识蒸馏框架，以提高视觉模型对图像失真的鲁棒性。该方法采用一种不对称方法，其中教师模型处理干净的图像，而学生模型则从同一图像的失真版本中学习。这种涉及对全局嵌入、补丁级特征和注意力图进行对齐的技术，使学生模型即使在没有直接访问干净数据的情况下也能近似干净图像的表示。与现有方法相比，该方法在各种失真下的图像分类任务上表现出优越的性能。