研究人员正在开发新的方法来提高脉冲神经网络(SNN)的效率和性能。一种方法,临界约束二次剪枝(CQP),结合了权重幅度和神经元临界性,以最小的精度损失实现高稀疏度,并在MNIST数据集上展示了显著降低的能耗。另一种方法通过将凸化技术扩展到循环网络并引入参数重构算法,该算法在替代梯度方法方面具有优势,专注于SNN的全局最优训练。此外,一种新架构,内在稳定SNN(IS-SNN),通过强制信号稳态消除了对计算成本高昂的批量归一化的需求,在ImageNet等基准测试中取得了有竞争力的性能,同时减少了硬件资源消耗。 AI
影响 SNN训练和剪枝方面的这些进步可能为专用AI任务带来更节能、性能更强的神经形态硬件。
排序理由 多篇在arXiv上发表的学术论文详细介绍了脉冲神经网络方面的新研究。
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
- artificial neural network
- arXiv
- parameter reconstruction algorithm
- Spiking Neural Networks
- Xiaocong Yang
- Adam
- batch normalization
- Criticality-Constrained Quadratic Pruning
- ImageNet
- Intrinsically Stable SNN
- MNIST database
- PyTorch
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →