3D M-RoPE

视觉-语言模型：ViT、CLIP 和 Qwen2.5-VL 如何处理图像

一项近期分析深入探讨了视觉-语言模型（VLM）的内部工作机制，解释了其三阶段图像处理流程。该流程包括用于切片和合并图像块的视觉 Transformer（ViT），使用旋转位置嵌入来理解二维和三维空间数据的双空间罗盘，以及用于改进物体定位和减少幻觉的带有视觉对比解码（VCD）的跨模态注意力。实验表明，像 OpenAI 的 CLIP 这样的模型可能会被简单的排版攻击所欺骗，将带有“iPod”标签的苹果错误地归类为电子设备。