high-norm outlier patch tokens

Vision Transformer Token在语义与背景表示方面显示出专业化

研究人员调查了自监督Vision Transformer (ViTs)，例如DINOv2中特定Token类型的功用。通过在寄存器Token和高范数异常Patch Token上训练稀疏自编码器，他们发现寄存器Token与高级语义概念的联系更紧密，而异常Token则与背景和纹理模式相关。因果消融实验证明了显著的功能不对称性，破坏寄存器衍生的特征会导致表示相似度大幅下降，而破坏异常衍生的特征则不会。