Geometric Routing Invariance Preservation

新的GRIP框架实现了MoE LLM中真正的机器学习遗忘

研究人员引入了GRIP（Geometric Routing Invariance Preservation），一个新颖的框架，用于在混合专家（MoE）大型语言模型中实现算法无关的机器学习遗忘。与之前仅仅将查询重定向到专家之外以避免删除知识的方法不同，GRIP对路由器更新施加了几何约束。这种方法将遗忘压力导向专家参数本身，确保知识被真正删除。实验表明，GRIP显著提高了路由稳定性，增强了准确性，并大大降低了对手恢复敏感信息的能力。