实体 SMM Transformer

SMM Transformer

PulseAugur coverage of SMM Transformer — every cluster mentioning SMM Transformer across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_181230 · Aug 3 · 02:54

Spiking Neural Networks integrated into multimodal Transformers for efficiency

研究人员开发了SMM Transformer，这是一个将脉冲神经网络（SNNs）集成到多模态Transformer架构中的新颖框架。该方法解决了训练深度SNNs的挑战以及密集注意力机制与基于脉冲的通信之间的不兼容性。SMM Transformer采用了一种新的神经元模型以实现稳定训练，一个脉冲驱动的token-mixing模块来替代传统的softmax注意力，以及一个脉冲混合专家模块用于模态融合。在视觉和多模态基准上的初步结果表明，S…