Weierstrass Positional Encoding

Weierstrass Positional Encoding 增强 Vision Transformers

研究人员推出了一种新颖的增强 Vision Transformers (ViTs) 的方法——Weierstrass Positional Encoding (WePE)，通过更好地保留图像固有的二维空间结构来提升性能。与现有方法在 patch 展平后可能削弱空间关系不同，WePE 使用 Weierstrass 椭圆函数在复数域中编码二维坐标，并利用其格结构来匹配图像 patch 网格。该方法旨在更忠实地建模空间距离，并允许直接推导相…