研究人员开发了 HiAP,一个用于自动剪枝 Vision Transformers (ViTs) 以降低其计算需求的创新框架。与需要多阶段过程和微调的先前方法不同,HiAP 将剪枝整合到单一的端到端学习阶段。它在多个结构层面采用随机门控,并与计算成本项一起进行优化,从而在不需要重要性启发式或二次微调的情况下高效地创建更小、更密集的子网络。 AI
影响 这个新的剪枝框架可以使强大的 Vision Transformers 在资源受限的硬件上部署,从而拓宽其应用范围。
排序理由 该集群包含一篇详细介绍一种新 AI 模型剪枝方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →