PulseAugur
中
实时 03:39:21
English(EN) Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers

新框架使脉冲神经网络可用于大型语言模型

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一个新框架，使大型语言模型更能兼容神经形态硬件。该方法侧重于为Transformer中的非线性算子创建对脉冲友好的近似，这些算子通常对标准的脉冲神经元动力学具有挑战性。通过将这些非线性分解为重复的基本单元，并使用神经元群体的计算，该框架可以在最小的精度损失下近似Softmax和SiLU等常见非线性。 AI

影响 通过近似非线性，能够更有效地在神经形态硬件上执行大型语言模型。

排序理由 该集群包含一篇学术论文，详细介绍了一种用于脉冲神经网络中Transformer的非线性算子近似的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Xinzhe Yuan (IASM, Harbin Institute of Technology), Xiang Peng (IASM, Harbin Institute of Technology), Bin Gu (School of Artificial Intelligence, Jilin University), Huan Xiong (IASM, Harbin Institute of Technology) ·

    即插即用脉冲算子：打破脉冲Transformer中的非线性瓶颈

    arXiv:2605.20289v1 Announce Type: cross Abstract: ANN-to-SNN conversion offers a practical, training-free route to spiking large language models. However, current pipelines primarily focus on spike-driven realizations for Transformer linear-algebra operations, while providing lim…

相关实体

相关话题