AR-KD

新的AR-KD方法增强了AI模型的知识转移

研究人员推出了一种名为自适应互惠知识蒸馏（AR-KD）的新方法，旨在增强大型教师模型向小型学生模型的知识转移。与传统的单向蒸馏不同，AR-KD采用互惠适应过程，简化教师的输出分布，并将其类别相关性矩阵与学生的关联表示对齐。该方法旨在减轻类间知识的损失，并提供更兼容的监督信号。在CIFAR-100和ImageNet-1k数据集上的评估表明，AR-KD显著提高了学生模型的准确性，优于现有的知识蒸馏技术。