PulseAugur
中
实时 09:13:35
English(EN) SHUFFLESPARSE: Learned Shuffles for Structured Sparse Networks

SHUFFLESPARSE学习的置换可提高结构化稀疏网络的准确性

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了SHUFFLESPARSE，一种新颖的置换原语，旨在增强神经网络中的结构化权重稀疏性。该方法旨在缩小结构化和非结构化稀疏训练之间的准确性差距，尤其是在高稀疏度水平下。通过与权重矩阵一起学习置换矩阵，SHUFFLESPARSE在ViT-B16和GPT-2等模型的准确性方面显示出显著的改进，并显著将LLaMA-2 7B的零样本准确性提高了4.6个百分点。 AI

影响 该方法可以通过改进结构化稀疏技术，从而实现更高效的大型模型部署。

排序理由 该集群是一篇研究论文，详细介绍了一种改进神经网络稀疏性的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

SHUFFLESPARSE学习的置换可提高结构化稀疏网络的准确性

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Abhishek Tyagi, Arjun Iyer, Liam Young, William H Renninger, Christopher Kanan, Yuhao Zhu ·

    SHUFFLESPARSE：结构化稀疏网络的学习式shuffle

    arXiv:2510.14812v2 Announce Type: replace Abstract: Structured weight sparsity accelerates training and inference on modern GPUs, but it trails unstructured dynamic sparse training (DST) in accuracy especially at extreme sparsity. We pinpoint the reason for this difference in per…

相关实体

相关话题