Elastic Attention Cores

新的注意力机制旨在高效扩展视觉Transformer

两篇新的研究论文提出了用于视觉Transformer（ViTs）的新型注意力机制，以解决随着图像分辨率增加而出现的二次方复杂度问题。代表性注意力（RPAttention）使用学习到的代表性token来调节通信，允许语义相关的区域无论空间距离如何都能进行交互。弹性注意力核（VECA）采用了一个核心-外围结构，其中patch token仅通过一小组学习到的核心嵌入进行通信，从而实现线性复杂度。