SPOOK

新的SPOOK方法探测视觉编码器在空白画布上的失败情况

研究人员开发了一种名为SPOOK（稀疏像素优化以检测离流形知识）的新颖方法来探测视觉编码器的内部工作原理。该技术涉及在空白画布上进行稀疏像素编辑，然后进行分析，以查看它们是否能在多模态对比和自监督视觉编码器中检索特定目标。研究结果表明，即使在非语义输入上进行简单的编辑也能访问目标语义盆地，揭示了现代视觉编码器中一种共享的离流形故障模式，并建议将此优化方法作为理解表示几何的工具。