adversarial training
PulseAugur coverage of adversarial training — every cluster mentioning adversarial training across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
详细介绍神经架构搜索的双层优化框架
本文将神经架构搜索（NAS）构建为一个双层优化问题，并对其进行了结构化概述。文章将现有的NAS方法分为基于采样的方法和基于双层理论的方法。研究强调了一个新方向，即利用辅助数学规划框架整合训练损失函数的二阶信息，在修改架构参数的同时确保最优的模型参数。这种集成方法旨在获得更具原则性和理论一致性的结果，其中基于双层理论的方法在准确性和效率方面通常优于基于采样的方法。
-
梯度泄露攻击威胁电路设计的GNN
一篇新的研究论文详细介绍了对用于电路设计和硬件安全的图神经网络（GNN）的梯度泄露攻击（GLA）的首次全面评估。研究表明，GLA可能暴露门类型和硬件木马属性等敏感信息，从而可能帮助对手。虽然GIN等一些GNN架构提供了更强的韧性，但GAT等其他架构可能会加剧泄露。现有的防御技术效果有限，并且可能降低模型性能，这表明需要更强大的隐私保护解决方案。
-
新的GRAPE框架提升神经网络的对抗鲁棒性
研究人员推出了一种新颖的训练框架GRAPE，旨在增强神经网络的对抗鲁棒性，同时保持模型尺寸紧凑。GRAPE的独特之处在于将鲁棒模型学习视为一个演化过程，逐步暴露和优化参数，而不是从一开始就依赖固定结构。这种引导式参数空间演化方法，包括渐进式隐藏扩展和对抗性谱利用分数，在CIFAR-10上与传统的对抗训练方法相比，在鲁棒准确性方面取得了显著的改进，即使在计算预算相当且参数数量减少的情况下也是如此。
-
SORA方法可防止对抗性训练中的灾难性过拟合
研究人员推出了一种新颖的对抗性训练（AT）方法SORA，旨在解决快速AT变体中的灾难性过拟合问题。SORA通过形式化Epsilon过拟合（EO）并提出扰动对齐（PertAlign）来预测过拟合的发生。该方法根据损失曲面几何动态调整扰动，持续防止过拟合，并以更高的效率实现最先进的鲁棒性和干净准确率。
-
新理论界定了耦合梯度下降中的瞬态放大
研究人员开发了一种新的伪谱理论来分析耦合梯度下降中的瞬态放大，这是一种用于双层优化和对抗性训练的方法。该理论为块三角雅可比行列式提供了精确的界限，揭示了一种先前被谱半径分析所掩盖的非渐近学习动力学状态。在包括神经网络训练在内的各种问题上的实验证实了该理论的有效性。
-
匹配原则将机器学习鲁棒性与几何理论统一
一篇新论文介绍了“匹配原则”，这是一个将表示学习中的各种鲁棒性技术统一起来的几何理论。该原则提出，与其将域适应和对齐安全等问题分开处理，不如通过估计标签保持性干扰的协方差并相应地正则化编码器雅可比矩阵来解决它们。该框架将 CORAL 和对抗性训练等现有方法重新解释为该核心对象的不同估计器，为鲁棒学习提供了封闭形式的理论。
-
新框架 RobustLT 解决了不平衡数据集上的对抗性训练问题
研究人员开发了一个名为 RobustLT 的新框架，以改进深度神经网络的对抗性训练，特别是在具有长尾分布的数据集上。该框架解决了当前方法中的局限性，例如由于类别不平衡导致的训练目标倾斜和不稳定的对抗性分布。通过在训练过程中自适应地调整扰动，RobustLT 旨在增强对抗性鲁棒性和类别平衡性，这已在大量实验中得到证明。