研究人员调查了像CLIP这样的多模态模型中的模态鸿沟，观察到图像和文本在共享嵌入空间中通常占据不同的分布。本文证明了这种鸿沟可能有利于鲁棒性，起到了特性的作用而非缺陷。通过应用一种简单的后处理技术来减小鸿沟，可以在不牺牲干净准确性的情况下显著提高模型对扰动的鲁棒性。 AI
影响 提出了一种在不降低性能的情况下提高现有模型鲁棒性的方法。
排序理由 在arXiv上发表的学术论文，详细介绍了关于多模态模型鲁棒性的发现。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2603.29080v2 Announce Type: replace Abstract: Many modern multi-modal models (e.g. CLIP) seek an embedding space in which the two modalities are aligned. Somewhat surprisingly, almost all existing models show a strong modality gap: the distribution of images is well-separat…