研究人员推出 Vision SmolMamba，这是一种新颖的、能效型的脉冲状态空间架构，专为视觉建模而设计。该架构将脉冲驱动动力学与线性时间选择性递归相结合，利用脉冲引导式时空令牌修剪器 (SST-TP) 根据脉冲激活和延迟来估计令牌重要性。通过逐步移除冗余令牌，Vision SmolMamba 保留了关键的时空信息，实现了高效扩展和改进的精度-效率权衡。在各种基准测试上的实验表明，与之前的脉冲 Transformer 和 Mamba 变体相比，其能耗降低了至少 1.5 倍。 AI
影响 为视觉任务的脉冲神经网络引入了一种更节能的方法，有可能降低计算成本。
排序理由 介绍新模型架构和剪枝技术的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2604.25570v1 Announce Type: new Abstract: Spiking Transformers have shown strong potential for long-range visual modeling through spike-driven self-attention. However, their quadratic token interactions remain fundamentally misaligned with the sparse and event-driven nature…
Spiking Transformers have shown strong potential for long-range visual modeling through spike-driven self-attention. However, their quadratic token interactions remain fundamentally misaligned with the sparse and event-driven nature of spiking neural computation. To address this …