Mostafa Tavassolipour

新框架将网络剪枝与领域泛化相结合

研究人员推出了一种名为领域感知剪枝（DAP）的新型框架，该框架将神经网络剪枝与领域泛化相结合。DAP 利用网络稀疏性来提高模型在未见过的数据领域上的泛化能力。该方法学习参数保留的连续概率，将压缩视为一个概率掩码问题，并惩罚对领域敏感的权重，以识别领域不变的子网络。实验表明，DAP 在泛化基准测试中实现了显著的稀疏性，同时性能与密集模型相当或超越，并且对对抗性攻击的鲁棒性也得到了增强。