Lapis 尖峰注意力机制降低了 vision transformers 的能耗

研究人员推出 Lapis，一种专为尖峰 vision transformers 设计的新型尖峰注意力机制。该新方法根据其查询和键的首次尖峰延迟向量之间的 L1 距离对 token 对进行评分，并通过拉普拉斯核映射此距离。Lapis 旨在通过降低注意力机制的计算成本来提高效率，在 CIFAR-10 和 ImageNet-1K 等基准测试中实现高精度，同时与传统的密集点积注意力相比显著降低了能耗。 AI

影响 这种新的注意力机制可能导致更节能的计算机视觉任务的 AI 模型。

排序理由 该集群包含一篇详细介绍尖峰注意力机制新技术方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.NE (Neural & Evolutionary) 阅读 →

• CIFAR-10
• First-Spike Timing of Auditory-Nerve Fibers and Comparison With Auditory Cortex
• Kaiwen Tang
• lapis lazuli
• Laplace operator
• Membrane leakage and increased content of Na+ -K+ pumps and Ca2+ in human muscle after a 100-km run.
• Spiking Vision Transformers

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →