研究人员开发了AdaS-ViT,一种用于脉冲视觉Transformer的新型架构,旨在实现超高能效。该模型采用测试时自适应路由,允许它根据注意力分数动态调整发放模式,以最大限度地减少计算冗余。通过选择性地将显著区域进行细粒度发放,并将节能模式分配给其他区域,AdaS-ViT在保持ImageNet-1k等基准测试具有竞争力表现的同时,实现了显著的节能。 AI
影响 这项研究推动了AI视觉模型能效的边界,有可能为更可持续和更强大的设备端AI应用提供支持。
排序理由 该集群描述了一篇研究论文,其中详细介绍了一种新的模型架构及其在基准测试上的表现。
- Adaptive Efficient Integrate-and-Fire
- AdaS-ViT
- arXiv
- ImageNet-1k
- Spiking Gated Self-Attention
- Spiking Local-Gated Unit
- Spiking Vision Transformers
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →