PulseAugur
中
实时 23:24:41
English(EN) Vision SmolMamba: Spike-Guided Token Pruning for Energy-Efficient Spiking State-Space Vision Models

Vision SmolMamba 使用尖峰引导式剪枝实现能效型视觉模型

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出 Vision SmolMamba，这是一种新颖的、能效型的脉冲状态空间架构，专为视觉建模而设计。该架构将脉冲驱动动力学与线性时间选择性递归相结合，利用脉冲引导式时空令牌修剪器 (SST-TP) 根据脉冲激活和延迟来估计令牌重要性。通过逐步移除冗余令牌，Vision SmolMamba 保留了关键的时空信息，实现了高效扩展和改进的精度-效率权衡。在各种基准测试上的实验表明，与之前的脉冲 Transformer 和 Mamba 变体相比，其能耗降低了至少 1.5 倍。 AI

影响 为视觉任务的脉冲神经网络引入了一种更节能的方法，有可能降低计算成本。

排序理由 介绍新模型架构和剪枝技术的学术论文。

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Vision SmolMamba 使用尖峰引导式剪枝实现能效型视觉模型

报道来源 [2]

  1. arXiv cs.CV TIER_1 English(EN) · Dewei Bai, Hongxiang Peng, Yunyun Zeng, Ziyu Zhang, Hong Qu, Yi Zhang ·

    Vision SmolMamba：用于高能效脉冲状态空间视觉模型的尖峰引导令牌修剪

    arXiv:2604.25570v1 Announce Type: new Abstract: Spiking Transformers have shown strong potential for long-range visual modeling through spike-driven self-attention. However, their quadratic token interactions remain fundamentally misaligned with the sparse and event-driven nature…

  2. arXiv cs.CV TIER_1 English(EN) · Yi Zhang ·

    Vision SmolMamba：用于高能效脉冲状态空间视觉模型的尖峰引导令牌修剪

    Spiking Transformers have shown strong potential for long-range visual modeling through spike-driven self-attention. However, their quadratic token interactions remain fundamentally misaligned with the sparse and event-driven nature of spiking neural computation. To address this …

相关实体

相关话题