Nikos Giakoumoglou

新 ViTAMINS 方法通过合成负样本增强视觉 Transformer 训练

研究人员开发了 ViTAMINS，一种通过引入合成难负样本来训练自监督视觉 Transformer 的新方法。该方法提高了表示质量，在 ImageNet 等基准测试以及图像检索和分割等各种下游任务上取得了显著改进。该方法展示了涌现的分类能力，性能优于现有基线，甚至超过了像 V-JEPA with ViT-L 这样的大型模型。与对比学习中的生成方法和自蒸馏方法相比，ViTAMINS 提供了一种更具资源效率且功能更强大的替代方案。