Ryota Yoshihashi

What-Where Transformer 将物体外观与位置分离开

研究人员推出了一种新颖的视觉骨干网络 What-Where Transformer (WWT)，旨在更好地将物体外观与其空间位置分离开。这种新架构采用基于槽（slot）的设计，其中 token 代表物体的“是什么”，而注意力图（attention maps）代表“在哪里”。WWT 即使在仅使用标准分类监督进行训练的情况下，也能在直接从注意力图中发现多个物体方面展现出新兴能力，并在零样本物体发现和弱监督语义分割任务上表现出改进的性能。