Canonical Color

Canonical Color Reveals Conceptual Understanding in Vision Encoders

研究人员探索了视觉语言模型（VLM）中的视觉编码器如何表示概念信息，并以标准颜色作为案例进行测试。通过分析从彩色和灰度图像中解码标准颜色的能力，他们发现即使在输入中去除颜色，这种概念信息仍然可访问。对完整 VLM 的进一步分析表明，训练后处理可以显著影响视觉编码器中颜色的可解码性，这表明标准颜色是理解这些模型中概念语义的有用工具。