Nhat Thanh Tran

SEMA 注意力机制为计算机视觉提供可扩展、高效的替代方案

研究人员推出了一种新颖的注意力机制 SEMA，旨在提高计算机视觉任务的可扩展性和效率。SEMA 通过引入令牌定位以保持焦点和算术平均以获取全局上下文，解决了传统 Transformer 注意力的局限性。在 Imagenet-1k 上的实验表明，SEMA 为线性注意力提供了一种可扩展且有效的替代方案，在更大的图像尺度上，其性能优于现有的视觉 Mamba 模型，且参数数量相当。