Variable Spiking Neuron

新型稀疏激活ReLU层提升边缘AI效率

研究人员开发了一种名为稀疏激活ReLU（SAR）的新层，旨在提高神经算子在边缘设备上进行实时虚拟传感的效率。该SAR层无需复杂的代理梯度训练即可促进激活稀疏性，使其与事件驱动计算兼容。当集成到NOMAD架构中时，与现有的脉冲神经元模型相比，SAR在延迟-误差-能量（LEE）指标上表现出显著的改进。通过合成知识蒸馏和一种新颖的基于ReLU的脉冲损失进一步增强，在换热器数据集上，LEE分数和L2误差进一步降低，为更节能的虚拟传感解决方案铺平了道路。