DANGERLENS

新型探测器DANGERLENS揭示AI模型中隐藏的危险概念

研究人员开发了DANGERLENS，一种旨在揭示语言模型中可能在安全对齐训练后仍然存在的隐藏危险概念的新型探测器。通过将模型内部状态映射到词汇空间，DANGERLENS能够区分真正的危险识别和残留的有害知识。对Qwen1.5模型的实验表明，即使在表现出相似的安全输出行为时，先前接触过有害数据的模型对这些危险概念的保留了更大的可访问性。这表明内部可访问性审计与外部安全评估一样，对于全面理解模型的安全性至关重要。