David Jacob Drexlin

寄存器令牌增强的视觉Transformer可改善图像重建

研究人员开发了一种方法，通过将编码全局场景属性的寄存器令牌整合到视觉Transformer（ViT）解码器中，来改进图像重建和生成。通过将这些寄存器令牌与空间块令牌联合处理，使用DINOv2和DINOv3的ViT-B解码器在重建误差方面取得了显著降低，其中DINOv2在FID分数上显示出9.5%的改进。对于图像生成任务，与仅使用块令牌的基线相比，DINOv2模型还将平均FID降低了9.8%。