Spiking Neural Networks integrated into multimodal Transformers for efficiency

研究人员开发了SMM Transformer，这是一个将脉冲神经网络（SNNs）集成到多模态Transformer架构中的新颖框架。该方法解决了训练深度SNNs的挑战以及密集注意力机制与基于脉冲的通信之间的不兼容性。SMM Transformer采用了一种新的神经元模型以实现稳定训练，一个脉冲驱动的token-mixing模块来替代传统的softmax注意力，以及一个脉冲混合专家模块用于模态融合。在视觉和多模态基准上的初步结果表明，SMM Transformer在准确性方面可与标准的Artificial Neural Network（ANN）基线相媲美，同时在其注意力模块中提供了显著的能效提升。 AI

影响 这项研究可能通过利用脉冲神经网络，为多模态任务带来更节能的AI模型。

排序理由 该集群包含一篇详细介绍脉冲神经网络新模型架构的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

• ANN
• P-STBP
• SMM Transformer
• Spiking Neural Networks
• Transformers

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →