研究人员正在通过新颖的训练方法和神经元模型来推进脉冲神经网络(SNN)。一篇论文介绍了一种“循环发放”神经元和一种可学习的代理梯度函数,以改善信息表示和梯度传播,在各种数据集上取得了有竞争力的性能,并推广到Transformer架构。另一项研究提出了“Bullet Trains”,一种并行化技术,通过使用关联扫描和可微分脉冲时间求解器,显著加快了时间精确SNN的训练速度,并在具有事件驱动数据集的GPU上展示了可行性。第三篇论文提出了一种“多时间尺度电导脉冲网络”,它提供了丰富的发放动力学和梯度可训练性,无需代理梯度,在稀疏活动的时间序列回归任务中表现优于现有模型。 AI
影响 SNN的这些进展可能带来更节能、时间处理能力更强的AI系统。
排序理由 多篇研究论文详细介绍了脉冲神经网络训练和架构的进展。
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
- AdLIF networks
- Josep Maria Margarit-Taulé
- LIF networks
- multi-timescale conductance spiking networks
- Spiking Neural Networks
- circulate-firing spiking neuron
- LIF
- Transformer
AI 生成摘要 · Google Gemini · 来自 4 个来源。 我们如何撰写摘要 →