一项新的arXiv研究调查了在极低数据细粒度分类任务中,不同预训练目标对视觉编码器性能的影响。研究人员使用了一个包含祖母绿内含物图像的自定义数据集,比较了四种冻结的ViT-B/16编码器,这些编码器分别使用监督分类、对比学习(SigLIP2)、掩码重构(MAE)和自蒸馏(DINOv3)进行训练。研究结果表明,监督学习和对比学习方法在线性可分性方面表现最佳,而MAE在非线性探测方面表现更好。DINOv3在此特定领域表现不佳。 AI
影响 为数据稀缺的细粒度视觉分类场景选择预训练方法提供了实践指导。
排序理由 学术论文,详细介绍了关于模型预训练目标的受控研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →