bViT

bViT 使用单块循环实现参数高效的视觉 Transformer

研究人员开发了 bViT，一种新颖的视觉 Transformer 架构，它使用单个 Transformer 块重复应用于图像识别。这种循环方法在 ImageNet-1K 上实现了与标准 ViT 相当的准确度，但参数却少得多。研究表明，ViT 的大部分深度可以通过循环计算来实现，尤其是在表示空间较宽的情况下，从而能够对下游任务进行参数高效的微调。