Spiking Mixture-of-Experts

SpikeMoE：脑启发式脉冲神经网络集成专家混合模型以实现能效

研究人员开发了SpikeMoE，一个结合了脉冲神经网络（SNNs）和专家混合模型（MoE）的新框架，用于更灵活和节能的神经网络架构。SpikeMoE受大脑海马体CA1区竞争性神经过程的启发，使用基于脉冲的路由器根据神经活动选择专家。在视觉、语言和多模态任务上的实验表明，SpikeMoE在SNNs中取得了最先进的成果，媲美或超越了传统人工神经网络，并展示了处理缺失数据的鲁棒性。