研究人员开发了一个新的蒸馏框架iBKD，以提高Vision Transformer（ViTs）在训练数据有限时的性能。与丢弃空间信息的通用知识蒸馏方法不同，iBKD在整个迁移过程中保留了网格结构。这是通过一个归纳偏置注意力模块实现的，该模块将学生层聚合到教师网格上，锐化结构线索，并通过卷积交叉注意力注入它们。iBKD框架仅需要训练，部署的ViT模型保持不变且没有推理开销。在各种ViT骨干网络和数据稀疏基准上的实验表明，iBKD的性能优于现有方法，并且其有效性随着训练数据的减少而增加。 AI
影响 这项研究提供了一种在数据稀疏环境下提高Vision Transformer效率的方法，有可能在某些应用中减少对海量数据集的需求。
排序理由 该条目描述了一篇提出机器学习知识蒸馏新方法的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Vision Transformers underperform convolutional networks when training data is scarce, and distilling convolutional inductive biases from a CNN teacher is an effective remedy that leaves the deployed model unchanged. General-purpose feature distillation, however, transfers little …
arXiv:2608.10723v1 Announce Type: new Abstract: Vision Transformers underperform convolutional networks when training data is scarce, and distilling convolutional inductive biases from a CNN teacher is an effective remedy that leaves the deployed model unchanged. General-purpose …