mode connectivity
PulseAugur coverage of mode connectivity — every cluster mentioning mode connectivity across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新方法增强深度神经网络插值鲁棒性
研究人员引入了Sharp Mode Connectivity (SMC)，一种用于优化深度神经网络权重空间中参数曲线的新方法。与仅确保沿轨迹低损失的标准模式连通性不同，SMC还强制要求邻近区域的低损失，从而使插值模型对分布变化更加鲁棒。该方法在ResNet-18和ViT-Tiny等模型以及CIFAR-10和ImageNet-100等数据集上得到了验证，显示出显著的准确性提升，尤其是在CIFAR-10-C等损坏情况下，甚至产生了负损失障碍。
-
新框架通过模式连通性分析机器遗忘
研究人员引入了一个名为“遗忘中的模式连通性”（MCU）的新框架，以更好地理解机器遗忘的过程。该方法分析了经过良好训练的模型如何在特定数据被移除后，仍能通过其参数空间中的平滑路径连接起来。研究发现，遗忘后的模型通常位于连通的盆地中，表现出平滑的保留和遗忘行为，尽管训练动态的变化可以将解决方案转移到不同的盆地。MCU还强调，同一盆地内的模型在隐私指标上可能存在差异，并且遗忘是一个非线性过程。
-
新研究通过模式连通性探索机器遗忘
一篇新论文通过检查模式连通性来探索机器遗忘，模式连通性是指独立训练的模型可以通过参数空间中的平滑路径连接的现象。研究人员引入了“遗忘中的模式连通性”（MCU）来分析这一点，发现被遗忘的模型通常位于具有可预测保留/遗忘行为的连通盆地中。该研究还强调，同一盆地内的模型在隐私指标上可能存在显著差异，并且MCU平滑度与遗忘难度相关。