YFCC15M

新的标度律研究对图像自蒸馏的数据独特性提出质疑

一篇新提交至arXiv的研究论文探讨了数据密度对图像自蒸馏模型的影响。与现有认为更多独特样本总是更好的标度律相反，这项工作表明，重复接触较小的数据子集有时可以产生更优越的性能。该研究使用了Maxar、Waymo和ImageNet等数据集，提出了一个修改版的Chinchilla风格标度律，该标度律同时考虑了独特样本数量和重复频率，为数据-计算权衡提供了一个新框架。