Yifan Li

ViT-AdaLA框架使用线性注意力自适应视觉Transformer

研究人员推出ViT-AdaLA，一个旨在使现有视觉Transformer（ViTs）适应更高效线性注意力机制的新框架。该方法解决了从头开始训练线性注意力ViTs的计算成本以及线性注意力技术从语言模型迁移过来的糟糕的迁移性问题。ViT-AdaLA采用一个三阶段过程，包括注意力对齐、使用冻结的教师模型进行特征对齐以及监督微调，以有效地将知识迁移到下游任务。