Relational Knowledge Distillation

关系知识蒸馏使深度神经网络与人类视觉对齐

研究人员开发了一种名为关系知识蒸馏（RKD）的方法，以更好地将深度神经网络（DNN）的内部表示与人类视觉对齐。该技术将人类表示的关系结构转移到DNN中，提高了其与人类心理表征的相似性。研究使用Gromov-Wasserstein最优传输（GWOT）进行无监督比较，证明了RKD可以在精心策划的测试集上实现个体对象级别的细粒度对齐。这种改进归因于DNN中更像人类的全局结构，而不是局部最近邻重叠。