DINOv1

基础模型预训练策略影响视网膜成像迁移能力

一篇新的arXiv论文探讨了基础模型不同的预训练策略如何影响其在超广角视网膜成像任务上的迁移效果。研究人员比较了使用监督学习、掩码自编码器（MAE）和自蒸馏目标训练的Vision Transformer编码器。结果表明，监督学习和自蒸馏方法的表现优于MAE，其中大规模DINOv3模型在诊断糖尿病视网膜病变方面表现最佳。研究还发现，预训练策略会影响模型如何聚合来自不同图像块的证据，并且部分微调可以提高MAE的性能。