实体
DeiT-B
DeiT-B
PulseAugur coverage of DeiT-B — every cluster mentioning DeiT-B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的深度剪枝方法提高了视觉Transformer的效率
研究人员开发了一种名为HetDPT的新方法来改进视觉Transformer（ViTs）的深度剪枝。该方法考虑了不同层之间的异构性，而这是先前深度剪枝技术的局限性。HetDPT避免了维度不匹配的问题，并在ImageNet-1K和CIFAR-100等数据集上实现了显著的加速，同时保持了准确性。当与宽度剪枝结合时，HetDPT+在极端的ViT剪枝方面设定了新的最先进水平，在接近无损准确率的情况下实现了更高的加速比。
-
新的SoftMoR技术使Vision Transformers更深入、更高效
研究人员推出了一种名为Soft Mixture-of-Recursions (SoftMoR) 的新方法，通过使Vision Transformers (ViTs) 能够利用所有递归步骤的中间表示来增强它们。这种方法以Soft Recursive Vision Transformer (SR-ViT) 的形式实现，可以在参数增加极少的情况下创建更深入、更强大的ViTs。在ImageNet-1K上的实验表明，将SR-ViT-S的递归深度…
-
STARFISH 方法提升剪枝神经网络的准确率恢复能力
研究人员开发了一种名为 STARFISH 的新方法，可有效恢复剪枝后神经网络的准确率。剪枝可减小网络尺寸以加快推理速度，但通常会降低准确率。STARFISH 使用少量无标签样本，通过将剪枝网络的内部状态与其原始网络的表示对齐，来优化剪枝网络。该方法在恢复原始准确率方面显著优于现有方法，尤其是在激进剪枝的情况下。