撤稿论文将视觉 Transformer 稀疏性与数据复杂度关联起来

一篇最近被撤稿的 arXiv 论文探讨了视觉 Transformer (ViTs) 中“表征稀疏性”的现象。由 Kanishk Awadhiya 领导的研究提出，在 ViTs 中观察到的“U形”熵分布（信息在中间层被压缩）并非架构缺陷，而是数据依赖的适应。该研究分析了在不同复杂度数据集上 DINO 训练的 ViTs 的有效编码维度 (EED)，发现此瓶颈的深度与任务所需的语义抽象相关。 AI

影响 这项研究探讨了视觉 Transformer 如何根据数据复杂度调整其内部表征，可能影响未来的模型设计。

排序理由 该集群包含一篇关于视觉 Transformer 技术方面的撤稿学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• CIFAR-100
• convolutional neural network
• Dino
• Kanishk Awadhiya
• Tiny-ImageNet
• University of California, Merced
• Vision Transformers

• 论文
• 其他

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →