ViSafe-Detect

VLMs 拥有弥散的视觉安全神经元，而文本安全神经元则更局部化

一项新的研究论文探讨了视觉语言模型（VLMs）中的安全机制，研究了即使文本输入被拒绝，视觉输入也可能导致有害输出的原因。该研究提出了一个新颖的两阶段检测流程，并结合了迭代消融方法，同时引入了 ViSafe-Detect 和 ViSafe-Eval 等基准来分离视觉和文本安全信号。研究结果表明，VLMs 中的文本安全高度局部化，只有一小部分神经元负责拒绝，而视觉安全则更弥散且维度更高，需要更多的神经元。