一项新的研究论文探讨了视觉语言模型(VLMs)中的安全机制,研究了即使文本输入被拒绝,视觉输入也可能导致有害输出的原因。该研究提出了一个新颖的两阶段检测流程,并结合了迭代消融方法,同时引入了 ViSafe-Detect 和 ViSafe-Eval 等基准来分离视觉和文本安全信号。研究结果表明,VLMs 中的文本安全高度局部化,只有一小部分神经元负责拒绝,而视觉安全则更弥散且维度更高,需要更多的神经元。 AI
影响 这项研究可能有助于实现更强大的多模态人工智能系统安全对齐,解决当前模型的一个关键漏洞。
排序理由 在 arXiv 上发表的研究论文,详细介绍了分析 VLM 安全机制的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- arXiv
- CatalyzeX
- DagsHub
- Gotit.pub
- Hugging Face
- IArxiv
- ScienceCast
- ViSafe-Detect
- ViSafe-Eval
- Vision--Language Models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →