研究人员开发了一个新的知识蒸馏框架iBKD，旨在提高Vision Transformers (ViTs) 在训练数据有限时的性能。该方法通过在整个训练过程中保留空间网格结构，有效地将卷积神经网络 (CNNs) 的归纳偏置迁移到ViTs。iBKD中的核心归纳偏置注意力模块可以锐化结构线索并将其注入ViT，从而在部署时得到一个未修改的ViT，没有额外的推理开销。iBKD在多个基准测试中，尤其是在数据稀疏的情况下，表现优于现有方法。 AI
影响 在低数据条件下提高了Vision Transformer的性能，有可能拓宽其在资源受限环境中的应用范围。
排序理由 该集群描述了一篇详细介绍机器学习中一种新知识蒸馏方法的最新研究论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
Vision Transformers underperform convolutional networks when training data is scarce, and distilling convolutional inductive biases from a CNN teacher is an effective remedy that leaves the deployed model unchanged. General-purpose feature distillation, however, transfers little …
arXiv:2608.10723v1 Announce Type: new Abstract: Vision Transformers underperform convolutional networks when training data is scarce, and distilling convolutional inductive biases from a CNN teacher is an effective remedy that leaves the deployed model unchanged. General-purpose …