PulseAugur
中
实时 22:00:07

ASAP 框架修剪 Vision Transformer 令牌，速度提升 48%

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个名为 ASAP（Attention Sink Anchored Pruning）的无训练框架，以解决 Vision Transformers (ViTs) 的计算挑战。ASAP 将 ViTs 中的信息流建模为一种懒惰随机游走，识别并利用“注意力汇聚”现象来修剪信息量低的令牌。据报道，该方法在各种视觉任务中将吞吐量加速高达 48%，同时保持或提高了准确性。 AI

影响 引入了一种新颖的 Vision Transformer 修剪技术，可在不牺牲准确性的情况下显著提高处理速度。

排序理由 该集群包含一篇详细介绍提高模型效率新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Jaehyuk Lee, Hanyoung Kim, Yanggee Kim, Donghun Lee ·

    ASAP: Attention Sink Anchored Pruning

    arXiv:2605.22372v1 Announce Type: new Abstract: Vision Transformers (ViTs) face severe computational bottlenecks due to the quadratic complexity of self-attention at high resolutions. Existing token reduction methods rely on local metrics - such as single-layer attention scores -…

相关实体

相关话题