ViT-MAE

新的 ToaSt 框架提高了 Vision Transformer 的效率

研究人员开发了一个名为 ToaSt 的新框架，旨在提高 Vision Transformer (ViTs) 的计算效率。ToaSt 将策略分离应用于 ViT 架构的不同部分，对注意力模块应用头式结构化剪枝，并对前馈网络应用一种称为 Token 通道选择 (TCS) 的免训练方法。这种方法在图像分类、检测和分割等各种模型和下游任务中都展示了改进的准确性和效率权衡。