SDprompt

SpikingMoE将混合专家模型集成到脉冲驱动的Transformer中

研究人员推出SpikingMoE，一个将脉冲神经网络（SNN）与混合专家（MoE）架构相结合的新颖框架。该方法利用脉冲驱动提示（SDprompt）来实现生物学上合理、依赖输入的信息路由到不同的专家模块。SpikingMoE专为神经形态硬件设计，旨在提高视觉识别任务的能效，同时保持竞争力，在CIFAR-10和CIFAR-100数据集上实现了高精度。