研究人员开发了用于压缩已训练神经网络的新方法，重点关注Sigmoid网络。所提出的技术涉及神经元聚类和基于其响应的合并。一种方法使用无数据贡献加权平均，另一种方法通过逆激活函数将神经元响应映射回预激活空间，利用最小二乘法估计代表性神经元权重和偏置。研究了数据辅助和无数据策略，研究结果表明权重信息对于聚类至关重要，而激活信息是合并过程中代表性神经元重建的关键。 AI
影响 引入了新颖的模型压缩技术，有可能在资源受限的设备上更有效地部署神经网络。
排序理由 这是一篇详细介绍神经网络压缩新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- least squares method
- Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks
- sigmoid neural networks
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
