一篇新论文批判性地审视了少样本学习评估背后的假设,特别是预训练模型在大型辅助数据集上的常见做法。研究人员发现,即使在目标样本类别不重叠但属于同一视觉域的情况下进行预训练,也会显著高估性能。研究表明,对于稀缺的目标域数据,域外预训练更为现实,并且令人惊讶的是,无标签增强策略可以取得与监督域外预训练相当的结果。该论文主张放弃将域内预训练作为默认评估协议,以更好地反映现实世界场景。 AI
影响 挑战了少样本学习的标准评估方法,可能导致更现实的性能评估,并影响未来的模型开发。
排序理由 学术论文发表在arXiv上,详细阐述了对机器学习评估协议的批判性审视。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →