研究人员在大型语言模型（LLMs）中识别出一条独特的通路，负责识别有害内容与生成拒绝回应。他们的研究聚焦于Qwen、Llama和Gemma等模型，发现注意力机制更擅长解码有害性，尤其是在早期层中，而多层感知器（MLPs）则更多地参与到已对齐模型中生成拒绝回应。这种区别在训练后仍然存在，训练后加强了拒绝回应的编写能力，但不一定能提高有害性检测能力。研究结果促成了“Sentinel”系统的开发，该系统利用注意力机制衍生的感知分数和MLP衍生的决策分数，以更好地表征和潜在地缓解越狱攻击和过度拒绝的问题。 AI
影响 识别出大型语言模型中用于有害性检测和拒绝回应生成的不同通路，可能带来更强大的安全机制。
排序理由 学术论文，详细介绍了关于大型语言模型安全机制的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
