研究人员开发了UnifiedAttack,这是一个新的基准,用于评估大型多模态模型(LMM)在通过协调文本和图像模态生成有害内容时的安全性。该方法旨在识别超出单个模态威胁总和的风险。该基准包括合成的虚假信息查询和一个采用上下文重塑(ICR)和认知规划注入(CPI)的框架,通过操纵模型的推理过程来绕过安全过滤器。对当前LMM架构的评估表明,UnifiedAttack可以系统地利用模型的有用性和连贯性进行有害生成,这凸显了对逻辑感知防御的需求。 AI
影响 突出了大型多模态模型中关键的安全漏洞,需要新的对齐技术。
排序理由 学术论文,介绍了一个新的基准和方法论来评估AI安全。[lever_c_demoted from research: ic=1 ai=1.0]
- Cognitive Planning Injection
- Hugging Face
- In-Context Reskinning
- Large Multimodal Models
- UnifiedAttack
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →