SSOG-Attention

SSOG-Attention 提供可扩展的SDPA替代方案，降低了复杂性

研究人员开发了SSOG-Attention，这是一种新颖的方法，提供了标准缩放点积注意力（SDPA）的次二次方且可扩展的替代方案。通过学习高斯原子并基于查询令牌对其进行几何引导，SSOG-Attention将计算复杂度从O(N²·d)降低到O(N·√N·d)。实验表明，SSOG-Attention在CIFAR-100等较小数据集上优于SDPA，并在ImageNet-1K等较大数据集上以更快的收敛速度达到同等性能，同时在规模化时也更节省内存。