Alexandro Galan-Cuenca

少样本学习的评估协议可能高估模型性能

一篇新论文批判性地审视了少样本学习评估背后的假设，特别是预训练模型在大型辅助数据集上的常见做法。研究人员发现，即使在目标样本类别不重叠但属于同一视觉域的情况下进行预训练，也会显著高估性能。研究表明，对于稀缺的目标域数据，域外预训练更为现实，并且令人惊讶的是，无标签增强策略可以取得与监督域外预训练相当的结果。该论文主张放弃将域内预训练作为默认评估协议，以更好地反映现实世界场景。