Yulin Chen

新框架欺骗基于CLIP的图像质量指标，并提出防御方法

研究人员开发了FoCLIP，一个旨在操纵和检测基于CLIP的图像质量评估的对抗性样本的框架。该方法故意使图像-文本空间中的特征失对齐，以人为地提高CLIP分数，使得被操纵的图像在模型看来质量更高，即使这些图像对人类来说在视觉上无法识别或在语义上不一致。研究还提出了一种基于颜色通道敏感性的防御机制，在检测这些被操纵的图像方面达到了91%的准确率。