研究人员开发了 SpikeDecoder，这是一种使用脉冲神经网络 (SNN) 实现的 Transformer 解码器块，用于自然语言处理任务。该方法旨在利用 SNN 的事件驱动特性，与传统的神经网络 (ANN) 相比，显著降低能耗。实验表明，在分析残差连接和归一化技术等架构选择对性能的影响时，能耗可能降低 87% 至 93%。 AI
影响 脉冲神经网络为大幅降低大型语言模型的能耗提供了一条途径，有望实现更可持续的人工智能发展。
排序理由 该集群包含一篇详细介绍新模型架构的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →