加州大学伯克利分校研究人员为Transformer开发基于Bandit的剪枝方法

加州大学伯克利分校的研究人员开发了一种新颖的方法来剪枝大型Transformer模型，包括用于视觉和语言任务的模型。该技术被构建为一个损伤感知的多臂老虎机（multi-armed bandit）问题，旨在识别并移除Transformer内的完整功能单元，同时将性能下降降至最低。该方法通过掩码注意力头（attention heads）和MLP通道组来衡量它们对模型损失的影响，然后使用Thompson sampling等采样策略依次选择要移除的单元。在GPT-2、Qwen2.5和ViT-B/16等模型以及各种数据集上的实验表明，与其他的预算方法相比，这种基于Bandit的剪枝通常能减少性能下降。 AI

影响 这项研究通过在性能损失最小的情况下减小大型语言和视觉模型的规模，有望实现更高效的模型部署。

排序理由 该条目是一篇学术论文，详细介绍了一种用于剪枝Transformer模型的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• Benjamini–Hochberg procedure
• DeiT-Tiny
• GPT-2
• Imagenette
• lambada
• Open Pre Trained Transformer
• Pythia
• Qwen2.5
• SmolLM2
• Swin-Tiny
• Thompson sampling
• transformers
• University of California, Berkeley
• ViT-B/16
• WikiText-2

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →