Shunya Shimomura

VisionScreen将语言模型筛选机制适配于增强视觉识别

研究人员推出了一种新颖的视觉识别方法VisionScreen，该方法将语言模型中的“筛选”机制适配于视觉识别。这种方法允许视觉Transformer独立评估图像块的内容和空间相关性，从而选择性地聚合相关图像块，而不是依赖于所有图像块的竞争性、基于softmax的加权。在图像分类基准测试上的实验表明，VisionScreen的表现优于传统的Vision Transformer模型，这表明这种筛选方法对于视觉识别任务是有效的。