UnlearnPII

几何式遗忘使 LLM 能够以最小化的泄露移除数据

研究人员推出了一种新颖的几何式遗忘（GU）方法，无需访问原始训练数据即可选择性地从大型语言模型中移除特定信息。该方法作用于模型的内部规划状态，从少量参考提示中提炼出安全行为。然后，GU 使用合成提示将这些状态与期望的安全几何对齐，从而最大限度地减少对模型通用效用的影响。在隐私基准测试上的实验表明，GU 在使用最少量的合成数据来抑制目标信息方面非常有效。