lapis lazuli

Lapis 尖峰注意力机制降低了 vision transformers 的能耗

研究人员推出 Lapis，一种专为尖峰 vision transformers 设计的新型尖峰注意力机制。该新方法根据其查询和键的首次尖峰延迟向量之间的 L1 距离对 token 对进行评分，并通过拉普拉斯核映射此距离。Lapis 旨在通过降低注意力机制的计算成本来提高效率，在 CIFAR-10 和 ImageNet-1K 等基准测试中实现高精度，同时与传统的密集点积注意力相比显著降低了能耗。