Subtoken Vision Transformer

子词视觉Transformer增强细粒度图像识别

研究人员推出了一种新颖的细粒度视觉识别方法——子词视觉Transformer（SubViT），该方法改进了图像的标记化方式。与将整个图像块压缩成单个标记的标准视觉Transformer不同，SubViT使用多个子词来表示关键图像块，以更好地捕捉局部变化。这种方法将更多的处理能力分配给区分性区域，从而增强了模型区分相似类别之间的能力。SubViT在广义类别发现等任务上展示了更高的准确性，在计算成本仅略微增加的情况下优于现有方法。