EVA-CLIP-8B

UniRefiner 框架教会 ViT 丢弃虚假 token

研究人员开发了 UniRefiner，一个旨在提高 Vision Transformer (ViT) 模型空间精度的框架。该方法教会预训练的 ViT 识别和丢弃可能降低空间敏感任务性能的无关或虚假 token。通过使用对比寄存器和双重目标，UniRefiner 能够以最小的微调来优化各种 ViT，从而在语义分割等任务中取得显著改进。