ImageNet-RIB

大型预训练数据集可能阻碍微调后的鲁棒性

一篇题为“大型预训练数据集不保证图像分类微调后的鲁棒性”的新研究论文指出，在海量数据集上预训练的模型进行微调可能导致严重的灾难性遗忘和分布外泛化能力的损失。研究人员提出了鲁棒性继承基准（ImageNet-RIB）来评估这种现象。他们的发现表明，在LAION-2B等更大、更多样化的数据集上预训练的模型可能比在较小数据集上训练的模型遭受更大的鲁棒性损失，这挑战了更大预训练总是带来更好下游性能的假设。