PulseAugur
中
实时 10:41:52
English(EN) Ge$^\text{2}$mS-T: Multi-Dimensional Grouping for Ultra-High Energy Efficiency in Spiking Transformer

新的Ge2mS-T架构提高了脉冲Transformer的能效

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员推出了一种名为Ge$^2$mS-T的新型架构，旨在提高脉冲视觉Transformer（S-ViTs）的能效。这种新方法通过在时间、空间和网络结构维度上实现分组计算，解决了现有方法的局限性。关键创新包括用于无损转换的分组指数编码（ExpG-IF）模型，以及通过多尺度令牌分组和无乘法运算来降低计算复杂度的分组脉冲自注意力（GW-SSA）机制。实验表明，Ge$^2$mS-T在具有挑战性的基准测试中实现了卓越的性能和超高的能效。 AI

影响 引入了一种新型架构，可实现更节能的脉冲Transformer，可能影响AI模型的硬件设计和部署。

排序理由 这是一篇详细介绍脉冲神经网络新架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的Ge2mS-T架构提高了脉冲Transformer的能效

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Zecheng Hao, Shenghao Xie, Kang Chen, Wenxuan Liu, Zhaofei Yu, Tiejun Huang ·

    Ge$^\text{2}$mS-T：脉冲Transformer中的多维分组实现超高能效

    arXiv:2604.08894v2 Announce Type: replace-cross Abstract: Spiking Neural Networks (SNNs) offer superior energy efficiency over Artificial Neural Networks (ANNs). However, they encounter significant deficiencies in training and inference metrics when applied to Spiking Vision Tran…

相关话题