Muhammad Zeeshan Karamat

设备端 LLM 安全分析揭示稀疏关键参数

研究人员调查了设备端语言模型（特别是 Llama-2-7B-Chat）的安全性，以确定安全关键参数是否集中在稀疏子集中。他们的分析显示，安全敏感性在模型中分布不均，MLP down_proj 持续显示出高敏感性。通过修改 down_proj 层中一小部分权重（0.19%），他们在保持 tinyBenchmarks 基线准确性的同时，实现了对抗性成功率（ASR）的显著提高，这表明了一种针对设备端模型进行分析和保护的靶向方法。