AttentionSwitch

新的AttentionSwitch防御机制联合优化LLM安全干预

研究人员开发了AttentionSwitch，这是一种新颖的防御机制，旨在保护大型语言模型（LLM）免受越狱攻击。与先前微调模型或顺序优化干预的方法不同，AttentionSwitch联合学习选择特定的注意力头并应用查询条件缩放因子。这种方法可以在不改变其表示方向的情况下衰减或放大选定的注意力头，从而在保持LLM原始能力的同时提高对恶意输入的安全性。评估表明，AttentionSwitch的性能优于现有防御方法，尤其是在训练数据有限的情况下。