实体
Spiking Self-Attention
Spiking Self-Attention
PulseAugur coverage of Spiking Self-Attention — every cluster mentioning Spiking Self-Attention across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Spikformer V2 使用SNN在ImageNet上实现80%+的准确率
研究人员开发了Spikformer V2，这是一种包含脉冲自注意力机制的新型脉冲神经网络（SNN）。这一进展使SNN能够利用自注意力机制的性能优势，而这在以前的生物学上可行的模型中是不存在的。Spikformer V2还包括一个脉冲卷积干和利用自监督学习进行增强训练，在ImageNet上实现了超过80%的准确率，这是SNN的首次突破。
-
新方法增强 Spiking Transformer 在图像任务上的性能 · 跟踪 2 个来源
研究人员引入了尖峰局部交互 (SLI) 和自适应互补融合 (ACF) 来增强 Spiking Transformer。这些方法通过引入一个独立于注意力的通道，用于相邻尖峰令牌之间的直接信息交换，并自适应地平衡 SSA 和 SLI 的贡献，从而解决了标准尖峰自注意力 (SSA) 的局限性。在包括 ImageNet-1K 和 ADE20K 在内的各种数据集上的实验表明，在图像分类、基于事件的识别和语义分割方面取得了持续的改进。