Andriushchenko et al.

新研究发现大型语言模型易受句法越狱攻击

一篇题为《情绪很重要：句法敏感性如何破坏安全对齐》的新研究论文揭示了大型语言模型安全对齐方面的一个重大漏洞。研究表明，即使语义含义保持不变，通过改变语法结构也能诱骗模型生成有害内容。这种句法敏感性在包括高达700亿参数的模型在内的16个模型中均有观察到，其根源在于训练后数据中的偏差。研究人员认为，当前的对齐方法无意中引入了混淆因素，阻碍了安全拒绝决策的纯语义基础。