研究人员为神经网络引入了一种新颖的参数剪枝技术,该技术基于模型空间内的微分几何距离。该方法使用 Fisher 信息度量定义的测地线距离,量化了参数归零的超曲面的最小距离。该方法产生了一个剪枝方法层级,从幅度剪枝开始,逐步发展到更高级、更有效的方案。该技术在全连接网络和视觉 Transformer 的各种数据集上进行了演示,在准确性和 Matthews 相关系数方面始终优于现有方法,为剪枝提供了数学上合理的解释。 AI
影响 这项研究提供了一种新颖的、数学上合理的优化神经网络架构的方法,通过改进剪枝技术。
排序理由 这是一篇详细介绍神经网络剪枝新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- CIFAR-10
- Fisher Information Distances
- Fisher information metric
- Fully Connected Networks on a Diet With the Mediterranean Matrix Multiplication
- local Fisher information
- magnitude pruning
- Matthews' correlation coefficient
- MNIST database
- Vision Transformers
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →