CloakDiff

新的CloakDiff框架为视觉-语言模型提供可逆的隐私保护

研究人员开发了CloakDiff，一个旨在保护用户隐私免受视觉-语言模型（VLM）的文本查询攻击的新型框架。与先前在多模态设置中无效或通过高频噪声降低图像质量的方法不同，CloakDiff生成的不可感知对抗性示例可以被逆转以恢复原始图像。该框架结合了基于扩散的对抗性编辑和可逆网络，并操纵潜在的交叉注意力图，以确保在不同模型和提示下的有效性，同时保持视觉结构。实验表明，CloakDiff在保持高视觉保真度和可逆性的同时，提供了强大的多模态隐私保护。