研究人员开发了一种新方法，用于量化视觉-语言模型如何通过其投影层改变视觉信息。通过测量傅里叶能量的线性可恢复性，他们发现光谱可及性在模型深度上呈非单调变化。研究表明，CLIP 的投影在光谱上是中性的，而 DINOv2 的池化机制在整个光谱上造成结构化损失，并将中间层和池化识别为光谱转换的关键驱动因素。 AI
影响 提供了一种分析视觉模型内部表征的新颖方法，可能指导未来的架构设计。
排序理由 该集群包含一篇详细介绍新方法论和实验结果的学术论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.03795v1 Announce Type: new Abstract: Vision-language models map visual features into a shared embedding space through learned projection layers, yet it remains unclear how these transformations alter the structure of visual information. This study examines changes in r…
Vision-language models map visual features into a shared embedding space through learned projection layers, yet it remains unclear how these transformations alter the structure of visual information. This study examines changes in representation through spatial-frequency accessib…