PulseAugur
实时 05:26:50

新框架在单一训练阶段自动执行 Vision Transformer 剪枝

研究人员开发了 HiAP,一个用于自动剪枝 Vision Transformers (ViTs) 以降低其计算需求的创新框架。与需要多阶段过程和微调的先前方法不同,HiAP 将剪枝整合到单一的端到端学习阶段。它在多个结构层面采用随机门控,并与计算成本项一起进行优化,从而在不需要重要性启发式或二次微调的情况下高效地创建更小、更密集的子网络。 AI

影响 这个新的剪枝框架可以使强大的 Vision Transformers 在资源受限的硬件上部署,从而拓宽其应用范围。

排序理由 该集群包含一篇详细介绍一种新 AI 模型剪枝方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新框架在单一训练阶段自动执行 Vision Transformer 剪枝

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Andy Li, Aiden Durrant, Milan Markovic, Georgios Leontidis ·

    HiAP:面向 Vision Transformers 的多粒度随机自动剪枝框架

    arXiv:2603.12222v2 Announce Type: replace-cross Abstract: Vision Transformers require significant computational resources and memory bandwidth, severely limiting their deployment on resource-constraint hardware. Most structured pruning methods reduce theoretical cost effectively,…