Latent Guard

新研究揭示 LLM 将有害性与拒绝性分开处理

研究人员发现，大型语言模型（LLM）将有害性概念与其拒绝机制分开编码。这意味着 LLM 可能理解指令是有害的，但仍拒绝执行。该研究提出了一个区别于现有“拒绝方向”的新维度——“有害性方向”，它可以影响 LLM 对指令的解释。这一发现促成了“Latent Guard”的开发，这是一种内在的安全机制，它利用模型内部的有害性表示来检测不安全输入并减少过度拒绝，其性能与 Llama Guard-3-8B 等专用安全模型相当。