FGVC

新的可微分搜索方法增强了视觉Transformer的提示调优

研究人员开发了一种新颖的方法，通过采用可微分架构搜索来优化视觉Transformer（ViTs）中的视觉提示调优。该方法联合优化可学习的提示及其融合方案，引入了仿射变换和交叉注意力等新的融合技术，以及传统的拼接和加法。在34个数据集上的实验表明，与现有的提示调优基线相比，在准确性、延迟和参数效率方面均有持续的改进，突显了提示融合策略在利用ViT层语义方面的重要性。