研究人员开发了MemCatalyst,一种旨在提高视觉语言模型(VLM)数据审计有效性的新型数据投毒技术。该方法采用两种策略:投毒文本(PT)和投毒图像(PI),使VLM更容易受到成员推理攻击。通过迫使模型过度学习图像和文本数据之间的不一致性,MemCatalyst在少量投毒样本的情况下显著提高了审计性能,同时对模型的整体能力影响最小。该方法的有效性已在不同的VLM架构和黑盒设置中得到证明。 AI
影响 这项研究引入了一种新的AI模型审计技术,可能会影响视觉语言模型开发中数据隐私和知识产权的管理方式。
排序理由 这是一篇详细介绍AI模型新审计方法的学术论文。
- arXiv
- AUC scores
- Membership inference attack
- MemCatalyst
- Poisoning Image
- Poisoning Text
- vision-language model
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →