研究人员开发了一种量化神经网络功能退化的方法,该方法衡量模型在不影响其性能的情况下可以压缩多少。这是通过计算“行为恢复秩”来实现的,该秩代表恢复训练模型能力所需的行为-Hessian特征方向的数量。研究发现,结构和幅度剪枝方法保留了更多的自由度,这表明功能冗余分布在参数方向上,而不是局限于单个权重或神经元。 AI
影响 提供了一个新的指标来理解和潜在地优化神经网络压缩和效率。
排序理由 该集群包含一篇详细介绍分析神经网络新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- behavioral-Hessian eigendirections
- behavioral recovery rank
- Functional Degeneracy in Neural Networks: Measurement and Pruning
- Hugging Face
- machine learning
- magnitude pruning
- structural pruning
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →