实体
magnitude pruning
magnitude pruning
PulseAugur coverage of magnitude pruning — every cluster mentioning magnitude pruning across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
New pruning method uses Fisher information distances for neural networks
研究人员为神经网络引入了一种新颖的参数剪枝技术，该技术基于模型空间内的微分几何距离。该方法使用 Fisher 信息度量定义的测地线距离，量化了参数归零的超曲面的最小距离。该方法产生了一个剪枝方法层级，从幅度剪枝开始，逐步发展到更高级、更有效的方案。该技术在全连接网络和视觉 Transformer 的各种数据集上进行了演示，在准确性和 Matthews 相关系数方面始终优于现有方法，为剪枝提供了数学上合理的解释。
-
测量神经网络退化以指导模型压缩
研究人员开发了一种量化神经网络功能退化的方法，该方法衡量模型在不影响其性能的情况下可以压缩多少。这是通过计算“行为恢复秩”来实现的，该秩代表恢复训练模型能力所需的行为-Hessian特征方向的数量。研究发现，结构和幅度剪枝方法保留了更多的自由度，这表明功能冗余分布在参数方向上，而不是局限于单个权重或神经元。
-
新命题将深度学习模型中的随机性和压缩联系起来
一项新命题使用 Gibbs 熵将机器学习模型中的随机性和压缩联系起来。研究人员证明，有损压缩可以被视为一种保留特定范围内信息内容的定向随机性。这一联系通过一个定理得到证明，并通过深度学习视觉任务的实验证据得到支持，显示了在随机剪枝和幅度剪枝等不同压缩方法之间，学习性能与 Gibbs 熵之间存在高度相关性。