mode connectivity

新框架通过模式连通性分析机器遗忘

研究人员引入了一个名为“遗忘中的模式连通性”（MCU）的新框架，以更好地理解机器遗忘的过程。该方法分析了经过良好训练的模型如何在特定数据被移除后，仍能通过其参数空间中的平滑路径连接起来。研究发现，遗忘后的模型通常位于连通的盆地中，表现出平滑的保留和遗忘行为，尽管训练动态的变化可以将解决方案转移到不同的盆地。MCU还强调，同一盆地内的模型在隐私指标上可能存在差异，并且遗忘是一个非线性过程。