实体
Spiking Transformers
Spiking Transformers
PulseAugur coverage of Spiking Transformers — every cluster mentioning Spiking Transformers across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
时间线
- 2026-05-22 research_milestone A new framework was proposed to approximate nonlinear operators in Transformers for compatibility with spiking neural networks. 来源
最近 · 第 1/1 页 · 共 2 条
-
新框架使脉冲神经网络可用于大型语言模型
研究人员开发了一个新框架，使大型语言模型更能兼容神经形态硬件。该方法侧重于为Transformer中的非线性算子创建对脉冲友好的近似，这些算子通常对标准的脉冲神经元动力学具有挑战性。通过将这些非线性分解为重复的基本单元，并使用神经元群体的计算，该框架可以在最小的精度损失下近似Softmax和SiLU等常见非线性。
-
Vision SmolMamba 使用尖峰引导式剪枝实现能效型视觉模型
研究人员推出 Vision SmolMamba，这是一种新颖的、能效型的脉冲状态空间架构，专为视觉建模而设计。该架构将脉冲驱动动力学与线性时间选择性递归相结合，利用脉冲引导式时空令牌修剪器 (SST-TP) 根据脉冲激活和延迟来估计令牌重要性。通过逐步移除冗余令牌，Vision SmolMamba 保留了关键的时空信息，实现了高效扩展和改进的精度-效率权衡。在各种基准测试上的实验表明，与之前的脉冲 Transformer 和 Mamb…