Lazy Defense

研究发现：用于LLM安全的策略内蒸馏带来后门风险

一篇新发表在arXiv上的研究论文探讨了策略内蒸馏（OPD）潜在的安全风险，OPD是一种用于迁移大型语言模型的能力和提高其安全性的技术。研究表明，即使中毒率低至3%的被投毒教师模型，也能以高达70%的攻击成功率将恶意行为传播给干净的学生模型。研究还强调，增加训练轮次和使用top-k KL散度可以加速这种后门传播。一种提出的缓解方法“延迟防御”（Lazy Defense）旨在通过降低学生模型更新的激进程度来减缓这一过程。