ViT-8R

寄存器令牌使 Vision Transformer 具有可解释性和性能提升

研究人员开发了一种使用寄存器令牌的新方法，以提高 Vision Transformer (ViTs) 在人脸识别方面的可解释性和性能。通过向初始块嵌入添加可学习的寄存器令牌，与标准的 CLS 令牌或连接块嵌入 (CPE) 方法相比，ViT-8R 模型展示了更结构化和可理解的注意力图。这种增强不仅减轻了可解释性伪影，还在 IJB-B 和 IJB-C 等大规模基准测试中取得了最先进的成果。