研究人员推出了一种名为领域感知剪枝(DAP)的新型框架,该框架将神经网络剪枝与领域泛化相结合。DAP 利用网络稀疏性来提高模型在未见过的数据领域上的泛化能力。该方法学习参数保留的连续概率,将压缩视为一个概率掩码问题,并惩罚对领域敏感的权重,以识别领域不变的子网络。实验表明,DAP 在泛化基准测试中实现了显著的稀疏性,同时性能与密集模型相当或超越,并且对对抗性攻击的鲁棒性也得到了增强。 AI
影响 这项研究可能带来更高效、更鲁棒的 AI 模型,这些模型无需重新训练即可在不同数据集上表现更佳。
排序理由 学术论文,详细介绍了一种新的机器学习方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →