研究人员开发了 SnapViT，这是一种创建弹性 Vision Transformer (ViTs) 的新颖方法，该方法可以在不重新训练的情况下适应各种计算预算。这种预训练后的结构化剪枝技术有效地结合了梯度信息和跨网络结构相关性，并通过进化算法进行近似。在多个预训练模型上的实验表明，SnapViT 在不同稀疏度下优于现有方法，并且可以在单个 A100 GPU 上在五分钟内生成可调模型。 AI
影响 能够根据不同的硬件约束更灵活地部署视觉模型。
排序理由 该集群包含一篇详细介绍适应现有模型新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →