Ambroise Odonnat

Vision Transformer finetuning benefits from non-smooth components

一篇新发表在arXiv上的研究论文探讨了Vision Transformer中的“可塑性”概念，将其定义为模型组件内部的平均变化率。研究表明，优先考虑具有高可塑性的组件（如注意力模块和前馈层）可以提高微调性能。这一发现挑战了平滑性总是对Transformer模型有益的传统观念，为其功能特性提供了新的视角。