Surrogate gradients for analog neuromorphic computing
PulseAugur coverage of Surrogate gradients for analog neuromorphic computing — every cluster mentioning Surrogate gradients for analog neuromorphic computing across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法探测忆阻器AI硬件中的隐私风险
研究人员开发了一种名为脉冲域模型逆转（SDMI）的新方法，用于分析忆阻器脉冲神经网络（SNNs）中的隐私泄露。该技术结合了变换期望（EOT）和代理梯度，通过随机模拟行为和不可微分的脉冲动力学来优化输入。跨四个数据集的实验表明，硬件变异性并不固有地保护隐私，因为重建保真度可能随着神经元阈值扰动而增加，而权重噪声可能减少泄露。研究结果表明，忆阻器SNN中的模型逆转泄露取决于硬件状态，不能仅凭模型准确性来推断。
-
新的SNN训练和剪枝方法提升效率和性能
研究人员正在开发新的方法来提高脉冲神经网络（SNN）的效率和性能。一种方法，临界约束二次剪枝（CQP），结合了权重幅度和神经元临界性，以最小的精度损失实现高稀疏度，并在MNIST数据集上展示了显著降低的能耗。另一种方法通过将凸化技术扩展到循环网络并引入参数重构算法，该算法在替代梯度方法方面具有优势，专注于SNN的全局最优训练。此外，一种新架构，内在稳定SNN（IS-SNN），通过强制信号稳态消除了对计算成本高昂的批量归一化的需求，在I…
-
新的SNN训练方法提高了性能和速度
研究人员正在通过新颖的训练方法和神经元模型来推进脉冲神经网络（SNN）。一篇论文介绍了一种“循环发放”神经元和一种可学习的代理梯度函数，以改善信息表示和梯度传播，在各种数据集上取得了有竞争力的性能，并推广到Transformer架构。另一项研究提出了“Bullet Trains”，一种并行化技术，通过使用关联扫描和可微分脉冲时间求解器，显著加快了时间精确SNN的训练速度，并在具有事件驱动数据集的GPU上展示了可行性。第三篇论文提出了一…