Spiking neural networks
PulseAugur coverage of Spiking neural networks — every cluster mentioning Spiking neural networks across labs, papers, and developer communities, ranked by signal.
- instance of artificial neural network 90%
- instance of alphaXiv 90%
- used by snnTorch 90%
- instance of SNNS 90%
- instance of Gotit.pub 90%
- instance of spiking neural network 90%
- instance of Leaky Integrate and Fire Neuron by Charge-Discharge Dynamics in Floating-Body MOSFET. 90%
- competes with artificial neural network 70%
- instance of Leaky Integrate And Fire Neuron 70%
- used by CIFAR-100 70%
- instance of snnTorch 70%
- used by Fashion-MNIST 70%
13 天有情绪数据
-
新的IPZO方法增强了IMC加速器上的SNN微调
研究人员开发了一种名为隐式扰动ZO（IPZO）的新方法，以提高在内存计算（IMC）加速器上微调脉冲神经网络（SNN）的效率。该方法通过减少冗余操作和扰动生成的硬件需求，解决了不可微SNN的梯度估计限制。提出的PGU-XOR技术是IPZO的关键组成部分，在硬件上显著降低了面积和能量开销的同时，展示了与基于软件的方法相当的准确性。
-
新的噪声群组神经元模型提升脉冲神经网络性能
研究人员引入了一种新颖的噪声群组神经元（NGN）模型，旨在提升脉冲神经网络（SNN）的性能。该模型整合了群体同步重置和神经随机性，以应对训练深度SNN时面临的挑战，例如时空信息丢失和梯度不匹配。NGN方法结合基于平均场动力学的反向传播学习，在CIFAR-10、CIFAR-100和Tiny-ImageNet等各种数据集上取得了显著改进，在10次推理步骤内，CIFAR10-DVS的准确率达到了87.35%。
-
Spikformer V2 使用SNN在ImageNet上实现80%+的准确率
研究人员开发了Spikformer V2，这是一种包含脉冲自注意力机制的新型脉冲神经网络（SNN）。这一进展使SNN能够利用自注意力机制的性能优势，而这在以前的生物学上可行的模型中是不存在的。Spikformer V2还包括一个脉冲卷积干和利用自监督学习进行增强训练，在ImageNet上实现了超过80%的准确率，这是SNN的首次突破。
-
新的噪声群组神经元方法提高了脉冲神经网络的性能
研究人员开发了一种名为噪声群组神经元（NGN）的新方法来改进脉冲神经网络（SNN）的训练。该方法通过引入群体同步重置和神经随机性，解决了时空信息丢失和梯度不匹配等挑战。NGN 方法结合反向传播学习，在 CIFAR10-DVS 数据集上，在 10 次推理时间步内达到了 87.35% 的准确率，显示出其在高性能神经形态计算方面的潜力。
-
新的SAGE方法通过自适应梯度改进脉冲Transformer训练 · 跟踪2个来源
研究人员推出了一种新颖的代理梯度机制SAGE，旨在改进脉冲Transformer的训练。该方法利用注意力引导熵在训练过程中自适应调整代理梯度斜率，从而增强优化灵活性，而无需改变推理模型。在CIFAR-10和CIFAR-100数据集上的实验表明，SAGE相比传统的固定代理基线，能够实现1-2%的一致性准确率提升。
-
新的BASC框架增强了脉冲神经网络的压缩
研究人员开发了一个名为行为对齐SNN压缩（BASC）的新框架，以提高脉冲神经网络（SNN）的效率。BASC通过结合时间反馈和通道间依赖性，解决了传统量化和剪枝方法的局限性。该框架包括时间行为尺度校正（TSC），根据发放行为优化尺度学习，以及边界级通道间校正（BIC），以完善通道重要性得分。实验表明，BASC模型在模型尺寸和计算需求显著降低的同时，实现了与更高比特基线相当或更优的准确性。
-
新框架支持脉冲神经网络的低比特部署
研究人员开发了PTQ4SNN，一个新颖的后训练量化框架，旨在实现脉冲神经网络（SNNs）的高效部署。该方法解决了量化循环膜状态的挑战，这些状态对SNN性能至关重要，但难以用低精度表示。PTQ4SNN采用通道级统一尺度桥接器来适应膜分布，并采用混合精度比特分配策略，根据放电活动和敏感性分配最佳比特精度，同时使用小型校准数据集。
-
新研究探索脉冲神经网络的高级训练方法
近期 arXiv 上的两篇论文探讨了训练脉冲神经网络（SNNs）的高级技术。第一篇论文介绍了一个通用框架，通过引入额外的状态变量来整合延迟到 SNNs 中，增强其捕捉时间依赖性的能力，并在较小网络中显示出效率提升。第二篇论文提出了 Phase State Space Models，它将状态空间模型（State Space Models）适配于 SNNs 的并行和无替代训练，在一个与脉冲兼容的架构中整合了短时傅里叶变换（STFT）、循环…
-
新的SVL框架提升脉冲神经网络的3D开放世界理解能力
研究人员开发了一个名为SVL（Spike-based Vision-Language）的新预训练框架，以增强脉冲神经网络（SNNs）在3D开放世界理解方面的能力。该框架通过引入用于无标签对比学习的多尺度三元组对齐（Multi-scale Triple Alignment）和用于高效推理的可重参数化视觉语言集成（Re-parameterizable Vision-Language Integration），解决了SNNs与人工神经网络（…
-
AS-FedBridge框架为联邦学习搭建ANN-SNN对齐桥梁
研究人员推出了AS-FedBridge，一个新颖的联邦学习框架，旨在解决人工神经网络（ANN）和脉冲神经网络（SNN）之间的表示不对齐问题。该框架利用伪脉冲接口来弥合连续ANN激活与离散SNN脉冲之间的语义鸿沟，从而实现有效的ANN-SNN对齐。AS-FedBridge旨在通过在管理异构挑战的同时提供更高的准确性，并在计算开销极小的情况下提供性能和效率之间可控的权衡，来改进资源受限的边缘设备上的协作学习。
-
脉冲神经网络增强用于遥感OOD检测
研究人员开发了一种新颖的方法来改进脉冲神经网络（SNN）在遥感应用中的分布外（OOD）检测。他们的方法利用了脉冲伪集成，其中多个轻量级分类头连接到一个单一的、固定的SNN骨干网络上。为了防止这些头之间的预测崩溃，他们引入了一个“同意-不同意”目标，鼓励预测的多样性，特别是在引起不确定性的变换输入上。与传统的深度集成相比，该技术显著降低了计算成本和参数数量，同时在EuroSAT、UCM和AID等数据集上取得了相当或更好的性能。
-
SpikeRestormer：使用脉冲神经网络实现节能型图像复原的AI
研究人员开发了SpikeRestormer，这是一种新颖的脉冲神经网络（SNN），专为节能型一体化图像复原（AiOIR）而设计。用于AiOIR的传统人工神经网络（ANN）方法计算成本高昂，限制了其在实时应用中的使用。SpikeRestormer通过使用内部生成的脉冲线索进行事件推理来解决此问题，并采用诸如减法退化事件注意力（SDEA）和分层贝叶斯跳跃掩码（HBSM）等技术来提取和推断退化事件。该模型在对抗基于ANN的方法方面取得了有竞…
-
新框架支持脉冲神经网络点云的高效微调
研究人员推出 SpikePEFT，一个新颖的参数高效微调框架，专为用于点云分析的脉冲神经网络（SNN）设计。该方法解决了预训练 SNN 的传统完全微调所带来的高参数和存储开销问题。SpikePEFT 包含内在动力学调整，用于调整膜衰减和发放阈值，以及静默状态消歧适应，用于从静默状态恢复任务相关信息。实验表明，SpikePEFT 在 ModelNet40 和 ScanObjectNN 等基准测试中实现了高精度，同时仅更新约 5% 的可训…
-
新的M-TTFS编码提升了SNN在LLM上的能效
研究人员开发了一种名为掩码首次脉冲时间（M-TTFS）的新编码方法，用于脉冲神经网络（SNN），以提高大型语言模型（LLM）的能效。M-TTFS编码重新分配了通常不传输任何信息的静默状态，以表示最常见的激活值，从而减少了与数据移动和权重读取相关的能耗。该方法被应用于一个名为Matterhorn的脉冲变压器模型，该模型在GLUE基准测试上取得了1.42个百分点的提升，并比之前的脉冲变压器消耗的能量减少了67%，同时在LLaMA模型上也显…
-
脉冲神经网络Transformer推动手写文本识别发展
研究人员开发了Spike-HTR，这是一种新颖的脉冲神经网络（SNN），专为手写文本识别而设计。该混合模型通过控制脉冲步数和处理的序列位置来解决传统SNN中的计算不平衡问题。Spike-HTR利用InkCoder将静态图像转换为粗到精的输入流，并使用CTC引导的长度缩减器来压缩以空白为主的拉伸，在IAM、LAM和READ2016等基准数据集上实现了具有竞争力的字符错误率，而无需依赖语言模型或词典。
-
Spiking Neural Networks integrated into multimodal Transformers for efficiency
研究人员开发了SMM Transformer，这是一个将脉冲神经网络（SNNs）集成到多模态Transformer架构中的新颖框架。该方法解决了训练深度SNNs的挑战以及密集注意力机制与基于脉冲的通信之间的不兼容性。SMM Transformer采用了一种新的神经元模型以实现稳定训练，一个脉冲驱动的token-mixing模块来替代传统的softmax注意力，以及一个脉冲混合专家模块用于模态融合。在视觉和多模态基准上的初步结果表明，S…
-
新的“海绵攻击”利用SNN的能效来增加功耗
研究人员发现了一种新的尖峰神经网络（SNN）安全漏洞，该漏洞利用了其能效。这些被称为“海绵攻击”的方法可以通过增加脉冲活动来显著增加SNN在推理过程中的能耗。逐样本攻击可以在保持预测准确性的同时将SynOps提高1.5-2.6倍，而通用攻击可以将能耗提高1.09-1.24倍，这对电池供电的边缘系统构成了现实威胁。
-
Sequence-SOD：仿生学SNN目标检测器用于事件相机，提高准确性
研究人员开发了Sequence-SOD，一种用于事件相机的、利用仿生学脉冲神经网络（SNN）的新型目标检测系统。与处理孤立事件间隔的先前方法不同，Sequence-SOD处理扩展的事件序列，跨时间步保留神经状态，以更好地利用时间信息。这种序列感知方法提高了检测精度，在应用数据增强的情况下，在Gen1汽车检测数据集上实现了26.88的平均精度均值（mAP），而单间隔训练的mAP为23.38。该系统可以以40 Hz的理论预测频率运行，突显…
-
脉冲神经网络的能效取决于任务而非架构
一篇新研究论文探讨了脉冲神经网络（SNNs）的能效，认为稀疏性的好处是任务依赖的，而不是SNNs固有的。研究发现，虽然前馈感知任务可以实现显著的稀疏性而没有准确性损失，但循环语言模型需要更高的活动水平来维持信息。一个脉冲Transformer模型展示了高稀疏性，表明是循环压缩而非序列建模本身决定了节能潜力。
-
新方法实现QNN与SNN的公平能耗比较
研究人员开发了一种方法，用于构建等效的量化神经网络（QNN）和脉冲神经网络（SNN），以便更准确地比较它们的能效。通过将率编码SNN映射到具有特定比特级表示的QNN，该研究确保了可比的表示能力和硬件要求。这种方法表明，SNN仅在某些条件下提供卓越的能效，例如在典型的神经形态硬件上具有适中的时间窗口和低脉冲率。