LLaMA-family models

新的防御框架FlipGuard通过量化技术对抗LLM后门攻击

研究人员开发了FlipGuard，一个旨在保护大型语言模型（LLM）免受由量化激活的后门攻击的新防御框架。这些攻击利用了对LLM高效部署至关重要的模型量化过程，通过隐藏只有在特定量化失真后才会显现的恶意行为。FlipGuard通过在量化前主动改变模型权重来工作，破坏恶意模式与量化边界之间的联系。这种防御不需要访问训练数据或触发样本，并且已被证明在包括代码生成、内容注入和过度拒绝在内的各种场景中能有效中和后门激活，同时对模型性能的影响极小。