实体
bViT
bViT
PulseAugur coverage of bViT — every cluster mentioning bViT across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
循环式 vs. 堆叠式Transformer：心电图分类比较
研究人员对循环式和堆叠式Transformer编码器进行了机制比较，重点关注其在12导联心电图分类上的应用。该研究在PTB-XL数据集上训练了两个模型：bViT（一种循环式Transformer）和一个标准的ViT。尽管参数减少了8.9倍，bViT仍取得了与ViT相当的准确率，表明其参数效率。虽然两种架构生成的潜在表征相似，但它们的动态却显著不同，bViT显示出更小的步长，并且对单个患者的敏感度较低。
-
bViT 使用单块循环实现参数高效的视觉 Transformer
研究人员开发了 bViT，一种新颖的视觉 Transformer 架构，它使用单个 Transformer 块重复应用于图像识别。这种循环方法在 ImageNet-1K 上实现了与标准 ViT 相当的准确度，但参数却少得多。研究表明，ViT 的大部分深度可以通过循环计算来实现，尤其是在表示空间较宽的情况下，从而能够对下游任务进行参数高效的微调。