Irene Trigueros-Lorca

知识蒸馏可改善数据稀疏环境下的卷积神经网络

研究人员研究了知识蒸馏（KD）技术，通过从大型教师模型迁移知识来训练更小、更高效的卷积神经网络（CNN）。虽然KD通常应用于最终输出层，但本研究探讨了将其应用于中间层的好处，特别是在每个类别数据有限的细粒度数据集上。研究结果表明，虽然最后一层蒸馏对于通用数据集通常已足够，但在数据稀疏的情况下，中间层监督能显著提高准确性，证明了开发紧凑且数据高效模型的一种关键方法。