Masiak et al.

新的 TopKLoRA 方法实现了可解释的 AI 模型微调和后门移除

研究人员开发了 TopKLoRA，一种可解释的微调方法，旨在识别和移除 AI 模型中的恶意后门。该技术是先前工作的扩展，每 token 只激活最大的适配器潜在表示，从而可以发现功能上的因果组件。在 Gemma 2-2B、Qwen2.5-1.5B 和 Qwen2.5-7B 模型的研究中，TopKLoRA 成功地分离并消除了负责后门功能的电路，而没有降低性能。与密集 LoRA 基线相比，该方法产生的稀疏电路明显更小，为更具可解释性和更安全…