新的剪枝方法显著降低 Vision Transformer 的计算成本

研究人员开发了一种名为去噪方差基剪枝与最优脑偏差补偿 (DVBP + OB$^2$C) 的新方法，以降低 Vision Transformers (ViTs) 的计算开销。该技术利用随机矩阵理论过滤激活协方差中的噪声，以实现更鲁棒的神经元选择。DVBP + OB$^2$C 还利用为选择收集的相同统计数据来优化剩余权重，实现了最先进的免训练性能。实验表明，在 50% 的 MLP 剪枝下，该方法在各种架构上保留了超过 90% 的原始准确率，显著优于以前的方法。 AI

影响 该方法可以实现大型 Vision Transformer 模型在边缘设备的更高效部署。

排序理由 该集群包含一篇详细介绍新模型剪枝方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

• arXiv
• ConvNeXt
• Data Efficient Image Transformers
• DVBP + OB$^2$C
• Optimal Brain Compression
• Swin Transformer
• Variance-Based Pruning
• Vision Transformers

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →