GUARD-IT

新的GUARD-IT方法在不改变参数的情况下在推理时遗忘大型语言模型

研究人员开发了一种名为GUARD-IT的新方法，用于推理时机器遗忘，旨在在不改变大型语言模型参数的情况下，移除特定数据对模型的影响。该技术使用依赖于输入的激活引导，作为残差流中的范数保持旋转，以在推理过程中修改模型行为。在TOFU和MUSE数据集上的实验表明，GUARD-IT在保持模型效用和抑制记忆方面，性能与基于梯度的方法相当或更优，同时在模型量化下仍然有效，并支持持续遗忘。