Pascal Visual Object Classes

新的CAPTOR方法可在没有文本编码器的情况下实现基于文本的图像引导

研究人员开发了一种名为CAPTOR的新颖方法，该方法无需配对的文本编码器即可实现基于文本的图像引导。该方法将图像编码器的patch token聚类为“视觉词”，并分析字幕共现来估计术语-patch矩阵。与现有的无训练基线相比，CAPTOR在COCO、Pascal VOC和Cityscapes等基准测试中表现出卓越的性能，甚至可以与经过文本对齐训练的模型相媲美。该方法在专业领域也显示出潜力，在乳腺癌幻灯片分析上表现优于强大的基线。