Closed-Form Weight Surgery

New OBU Framework Removes Hazardous LLM Capabilities Without Collateral Damage

研究人员开发了一个名为正交边界遗忘（OBU）的新框架，用于从大型语言模型中移除危险能力，同时不损害其良性科学效用。OBU通过识别和隔离用于双重用途概念（如网络安全或生物武器相关概念）的特定表征，然后确保对模型的任何修改都严格避免改变这些良性表征。两种方法，即投影LoRA和闭式权重手术，实现了OBU，在分离双重用途概念和抵抗对抗性重新学习方面，在多个开源模型上均显示出显著的改进。