PulseAugur
实时 04:55:51
English(EN) Event-triggered Implicit Perturbation for Zeroth-Order Fine-Tuning of Spiking Transformers

新的IPZO方法增强了IMC加速器上的SNN微调

研究人员开发了一种名为隐式扰动ZO(IPZO)的新方法,以提高在内存计算(IMC)加速器上微调脉冲神经网络(SNN)的效率。该方法通过减少冗余操作和扰动生成的硬件需求,解决了不可微SNN的梯度估计限制。提出的PGU-XOR技术是IPZO的关键组成部分,在硬件上显著降低了面积和能量开销的同时,展示了与基于软件的方法相当的准确性。 AI

影响 这项研究可能导致更高效的专用神经网络训练和部署硬件,可能影响神经形态计算的发展。

排序理由 该集群包含一篇详细介绍优化神经网络硬件的新颖方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的IPZO方法增强了IMC加速器上的SNN微调

报道来源 [1]

  1. arXiv cs.NE (Neural & Evolutionary) TIER_1 English(EN) · Bipin Rajendran ·

    面向脉冲Transformer的零阶微调的事件触发隐式扰动

    Zeroth-order (ZO) optimization estimates gradients using only forward-pass evaluations, making it suitable for fine-tuning non-differentiable, event-driven spiking neural networks (SNNs). However, its deployment on in-memory computing (IMC) accelerators is constrained by the repe…