PulseAugur
中
实时 20:22:04

bViT 使用单块循环实现参数高效的视觉 Transformer

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了 bViT，一种新颖的视觉 Transformer 架构，它使用单个 Transformer 块重复应用于图像识别。这种循环方法在 ImageNet-1K 上实现了与标准 ViT 相当的准确度，但参数却少得多。研究表明，ViT 的大部分深度可以通过循环计算来实现，尤其是在表示空间较宽的情况下，从而能够对下游任务进行参数高效的微调。 AI

影响 引入了一种参数高效的视觉 Transformer 架构，有望降低图像识别任务的计算成本。

排序理由 该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

bViT 使用单块循环实现参数高效的视觉 Transformer

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · Alberto Presta ·

    bViT：研究Vision Transformers中用于图像识别的单块循环

    Vision Transformers (ViTs) are built by stacking independently parameterized blocks, but it remains unclear how much of this depth requires layer specific transformations and how much can be realized through recurrent computation. We study this question with bViT, a single-block …

相关实体

相关话题