PulseAugur
中
实时 11:45:14
English(EN) SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers

新的SAGE方法通过自适应梯度改进脉冲Transformer训练 · 跟踪2个来源

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种新颖的代理梯度机制SAGE，旨在改进脉冲Transformer的训练。该方法利用注意力引导熵在训练过程中自适应调整代理梯度斜率，从而增强优化灵活性，而无需改变推理模型。在CIFAR-10和CIFAR-100数据集上的实验表明，SAGE相比传统的固定代理基线，能够实现1-2%的一致性准确率提升。 AI

影响 引入了一种用于节能脉冲神经网络的新训练技术，有可能提高其性能和适用性。

排序理由 该集群包含两篇相同的arXiv提交，详细介绍了一篇关于脉冲神经网络新颖训练机制的研究论文。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的SAGE方法通过自适应梯度改进脉冲Transformer训练 · 跟踪2个来源

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Kiran Nair, Rodrigue Rizk, KC Santosh ·

    SAGE：通过注意力引导的熵实现脉冲Transformer的代理梯度自适应

    arXiv:2608.13702v1 Announce Type: cross Abstract: Spiking neural networks (SNNs) offer an energy-efficient alternative to conventional deep neural networks by exploiting sparse event-driven computation, but their training remains challenging because the non-differentiable spike f…

  2. arXiv cs.NE (Neural & Evolutionary) TIER_1 English(EN) · KC Santosh ·

    SAGE: 用于脉冲神经网络的注意力引导熵的代理梯度自适应

    Spiking neural networks (SNNs) offer an energy-efficient alternative to conventional deep neural networks by exploiting sparse event-driven computation, but their training remains challenging because the non-differentiable spike function requires surrogate gradients whose fixed s…

相关实体

相关话题