Jiali Cheng

新度量标准可衡量从AI模型中遗忘数据的难度

研究人员开发了一种名为电路引导遗忘难度（CUD）的新度量标准，用于评估特定数据样本从语言模型中移除的难易程度。该度量标准分析处理信息的内部模型电路，在遗忘过程开始前为每个样本分配一个连续的难度分数。实验表明，CUD通过识别信息在模型通路中如何被编码和保护的模式，能有效地区分易于遗忘和难以遗忘的样本。研究结果表明，在模型早期阶段需要较短、较浅交互的样本更容易遗忘，而那些依赖于更深层、后期计算的样本则更具抵抗力。