Bidirectional Spike-Based Distillation

新的双向脉冲基蒸馏技术赋能设备端SNN学习

研究人员开发了双向脉冲基蒸馏（BSD）技术，这是一种新颖的设备端脉冲神经网络（SNN）学习方法，允许它们在推理时进行适应。该方法利用两个独立的通路：一个由刺激驱动的前向网络和一个由目标驱动的后向网络，在本地对齐它们的中间表示。BSD能够同时进行前向推理、后向推理和分阶段更新，与标准反向传播相比，显著降低了预期的训练延迟和能耗。该方法在各种基准测试中保持了接近反向传播基线的性能，并展示了对少样本类别增量学习的强大迁移能力。