研究人员发现，大型语言模型（LLM）将有害性概念与其拒绝机制分开编码。这意味着 LLM 可能理解指令是有害的，但仍拒绝执行。该研究提出了一个区别于现有“拒绝方向”的新维度——“有害性方向”，它可以影响 LLM 对指令的解释。这一发现促成了“Latent Guard”的开发，这是一种内在的安全机制，它利用模型内部的有害性表示来检测不安全输入并减少过度拒绝，其性能与 Llama Guard-3-8B 等专用安全模型相当。 AI
影响 这项研究通过区分有害性和拒绝性，为人工智能安全提供了新的视角，有望带来更强大的安全措施来防范不安全内容。
排序理由 学术论文，详细介绍了关于 LLM 内部表示的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
