JPwLEG-5

新的STITCH方法通过腐蚀碎片改进视觉谜题的求解

研究人员开发了STITCH，一种新颖的自监督兼容性度量方法，旨在解决带有腐蚀或缺失碎片的视觉谜题。与依赖完整边界的传统方法不同，STITCH使用来自冻结ViT模型的内部斑块标记的交叉注意力。这种方法在JPwLEG-5和新的ImageNet 7x7基准测试中实现了近乎完美的重建，即使有超过40%的碎片缺失，也证明了改进兼容性度量而不是求解算法是性能的关键。