Analysis-by-Proxy

新框架揭示视觉语言模型在图像编辑中的定位限制

研究人员开发了一个名为代理分析法（Analysis-by-Proxy）的新框架，用于研究视觉语言模型（VLMs）在图像编辑流程中作为条件编码器时的定位准确性。研究发现，尽管VLMs具有强大的独立定位能力，但在复杂场景下，当它们被限制为仅进行一次前向传播作为条件编码器时，其定位准确性会受到影响。代理分析法通过在VLM的中间表示上训练一个轻量级模型，来揭示定位信息是如何被编码和提取的，从而发现VLM的表示与当前编辑流程的提取策略之间存在不匹配。