Victor Bercy

G2TM 方法提升了 Vision Transformer 在不同架构下的效率

研究人员对图引导令牌合并 (G2TM) 方法进行了系统性研究，该方法旨在通过降低与自注意力机制相关的二次复杂度来提高 Vision Transformer (ViT) 的效率。研究发现，G2TM 的有效性主要是编码器的一个属性，在各种解码器架构以及语义分割和图像分类等任务中保持一致。G2TM 的最佳超参数取决于骨干网络的预训练和目标数据集，而不是解码器的选择，从而显著降低了分割模型的 GFLOPs 并提高了吞吐量。