Group-wise Spiking Self-Attention

新的Ge2mS-T架构提高了脉冲Transformer的能效

研究人员推出了一种名为Ge$^2$mS-T的新型架构，旨在提高脉冲视觉Transformer（S-ViTs）的能效。这种新方法通过在时间、空间和网络结构维度上实现分组计算，解决了现有方法的局限性。关键创新包括用于无损转换的分组指数编码（ExpG-IF）模型，以及通过多尺度令牌分组和无乘法运算来降低计算复杂度的分组脉冲自注意力（GW-SSA）机制。实验表明，Ge$^2$mS-T在具有挑战性的基准测试中实现了卓越的性能和超高的能效。