Self-Supervised Vision Transformers

CODI技术增强了用于密集预测的自监督视觉Transformer

研究人员开发了一种名为交叉蒸馏（CODI）的新技术，以提高自监督视觉Transformer的性能，特别是在密集预测任务方面。CODI通过在不改变核心架构的情况下，将全局语义融入掩码块，解决了这些模型中块级表示可能不可靠的问题。该方法涉及将教师的类别令牌分布的一部分混合到每个教师块令牌目标中，从而独立于注意力对掩码块进行语义校正。实验表明，在对齐的预训练期间应用CODI可以同时提高密集和图像级别的性能。