iBKD

新的iBKD框架在数据稀疏情况下将CNN归纳偏置迁移到Vision Transformers

研究人员开发了一个新的知识蒸馏框架iBKD，旨在提高Vision Transformers (ViTs) 在训练数据有限时的性能。该方法通过在整个训练过程中保留空间网格结构，有效地将卷积神经网络 (CNNs) 的归纳偏置迁移到ViTs。iBKD中的核心归纳偏置注意力模块可以锐化结构线索并将其注入ViT，从而在部署时得到一个未修改的ViT，没有额外的推理开销。iBKD在多个基准测试中，尤其是在数据稀疏的情况下，表现优于现有方法。