PulseAugur
中
实时 14:57:46

新型攻击通过仅图像提示操纵视觉语言模型

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为CrossMPI的新型跨模态提示注入攻击，该攻击可以通过仅图像的扰动来操纵大型视觉语言模型（LVLMs）对文本和图像输入的解释。该攻击针对模型的隐藏状态空间，该空间比以往攻击中通常使用的视觉嵌入空间更大且更具影响力。该方法采用层选择策略来关注关键的多模态集成层，并采用距离递减预算分配来约束图像扰动，在实验中表现优于现有方法。 AI

影响 这项研究揭示了视觉语言模型中的一种新漏洞，可能影响其安全部署并需要新的防御机制。

排序理由 该集群包含一篇详细介绍新型攻击方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CV 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新型攻击通过仅图像提示操纵视觉语言模型

报道来源 [1]

  1. arXiv cs.CV TIER_1 English(EN) · JianFeng Ma ·

    A Cross-Modal Prompt Injection Attack against Large Vision-Language Models with Image-Only Perturbation

    Large vision-language models (LVLMs) have emerged as a powerful paradigm for multimodal intelligence, but their growing deployment also expands the attack surface of prompt injection. Despite this growing concern, existing attacks still suffer from a critical limitation: the inje…

相关实体

相关话题