Mateusz Michalkiewicz

注视式探针揭示视觉基础模型中的局部信息

研究人员开发了一种名为“注视式探针”（foveated probes）的新方法，以更好地评估冻结的视觉基础模型中保留的局部信息。与传统的全局图像嵌入不同，注视式探针使用学习到的或由问题驱动的查询来聚焦于特定的图像区域，模仿人类的视觉注意力。这种方法在需要识别特定对象属性（如颜色和形状）的任务中，尤其是在混乱条件下或处理反事实编辑时，比全局读出更有效。研究表明，这些模型中空间意识的明显局限性可能源于读出接口，而不是模型内部表征本身缺乏信息。