adversarial training
PulseAugur coverage of adversarial training — every cluster mentioning adversarial training across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
对抗性训练使线性 Transformer 具备鲁棒的上下文内学习能力
一篇新的研究论文探讨了对抗性训练在大型语言模型中实现鲁棒的上下文内学习的有效性。研究表明，在广泛任务上经过对抗性预训练的模型，可以通过上下文内学习在新的、未见过任务上实现最佳鲁棒性，而无需进一步进行特定任务的对抗性训练。这与标准训练的模型形成对比，后者无法在新的任务上达到相同的鲁棒性水平。该研究分析了收敛特性、准确性-鲁棒性权衡以及有效上下文内学习所需的演示复杂度。
-
模型逆向攻击揭示的隐私泄露高于先前估计
一项新的研究论文揭示，当前评估模型逆向攻击（MIA）的方法严重低估了训练数据的隐私泄露。研究表明，像MixUp和对抗性训练这样的常见防御措施，以及未受保护的模型，在FaceScrub等数据集上泄露训练图像的比例远高于以往的预期。研究还强调，用于评估的外部分类器的选择会影响测量的泄露程度，并表明对抗性鲁棒性可能作为对重构攻击漏洞的广泛指标。
-
机器学习研究探索对抗性训练以增强鲁棒性 · 跟踪 5 个来源
该机器学习论文集探讨了对抗性训练的各个方面。研究调查了对抗性噪声如何影响分类器鲁棒性，比较了不同的分布式训练算法及其在逃避局部最小值方面的效率。此外，一篇论文引入了一种对抗性训练的概率方法，另一篇则提出了一种包含字典结构的新型网络架构，以增强鲁棒性和泛化能力。这些研究共同旨在提高机器学习模型抵御复杂攻击的弹性。
-
新的RL-FAT框架提高了深度神经网络对抗训练的公平性
研究人员开发了RL-FAT，一个利用强化学习来提高深度神经网络对抗训练公平性的新颖框架。该方法解决了标准对抗训练可能导致不同类别之间鲁棒性差异的问题，使得某些类别特别容易受到攻击。RL-FAT采用策略梯度方法自适应地关注误分类，并结合公平性强调损失，对脆弱类别施加更强的训练压力。实验表明，与传统方法相比，RL-FAT提高了整体鲁棒准确性，同时显著降低了类别鲁棒性不平衡。
-
联邦学习面临新的对抗性攻击和防御研究 · 跟踪 2 个来源
两篇最新的 arXiv 论文探讨了联邦学习 (FL) 框架中对抗性攻击和防御的挑战。第一篇论文研究了在 FL 中对 Vision Transformers 进行对抗性训练的可行性，并提出了一种名为 FedWAvg 的新聚合方法，以提高非独立同分布 (non-IID) 数据上的鲁棒准确性。第二篇论文分析了对抗性样本在 FL 中跨不同客户端模型的可迁移性，并引入了一种基于对抗性训练的防御机制来缓解这些攻击，提供了对系统漏洞的理论见解。
-
联邦学习面临新的对抗性攻击与防御
本文探讨了联邦学习（FL）系统在面对包括投毒、拜占庭攻击和对抗性样本攻击在内的各种对抗性攻击时的脆弱性。研究人员分析了不同客户端模型之间对抗性样本的可迁移性，以了解其对数据分布的影响。为了应对这些威胁，开发了一种基于对抗性训练的防御机制，利用了模型鲁棒性的可迁移性。所提出的方法在真实世界数据集上进行了评估，证明了其在现有最先进技术上的性能提升。
-
新方法增强了对恶意AI指令的检测能力
研究人员开发了一种检测嵌入文本中的恶意指令的新方法，这种漏洞被称为间接提示注入（IPI）。该方法具有上下文和查询感知能力，优于现有检测器。为了增强对自适应规避攻击的鲁棒性，研究人员实施了两种对抗性训练方法：一种使用基于投影梯度的方法在嵌入空间中进行优化，另一种通过基于LLM的释义来模拟真实世界的攻击。实验表明，该方法优于当前基线，尤其是在对抗自适应攻击方面，尽管最优参数可能因应用领域而异。
-
ROMS-IMLE：极简生成模型挑战多步必要性
研究人员推出了一种新颖的生成模型 ROMS-IMLE，它挑战了普遍认为高质量样本生成需要渐进式、多步变换的观念。ROMS-IMLE 采用极简主义方法，以隐式最大似然估计 (IMLE) 作为其训练目标，并使用卷积神经网络作为模型架构，摒弃了变分推断、对抗性训练和 Transformer 等复杂方法。这种单步模型展示了具有竞争力的性能，在 ImageNet 256 上达到了 2.56 的 FID 分数，同时具有快速的采样速度以及良好的精度和召回率。
-
新的混合防御增强了网络入侵检测系统对对抗性攻击的抵抗能力
研究人员开发了一种混合防御机制，以保护网络入侵检测系统（NIDS）免受对抗性攻击。该方法结合了对抗性训练（AT）和高斯数据增强（GDA），以减轻快速梯度符号法（FGSM）和Carlini & Wagner（C&W）攻击的影响。所提出的方法显著提高了NIDS的准确性，从攻击后的低点0.2649（FGSM）和0.4961（C&W）分别提高到96.57%和89.20%，证明了其在增强NIDS鲁棒性方面的有效性。
-
详细介绍神经架构搜索的双层优化框架
本文将神经架构搜索（NAS）构建为一个双层优化问题，并对其进行了结构化概述。文章将现有的NAS方法分为基于采样的方法和基于双层理论的方法。研究强调了一个新方向，即利用辅助数学规划框架整合训练损失函数的二阶信息，在修改架构参数的同时确保最优的模型参数。这种集成方法旨在获得更具原则性和理论一致性的结果，其中基于双层理论的方法在准确性和效率方面通常优于基于采样的方法。
-
梯度泄露攻击威胁电路设计的GNN
一篇新的研究论文详细介绍了对用于电路设计和硬件安全的图神经网络（GNN）的梯度泄露攻击（GLA）的首次全面评估。研究表明，GLA可能暴露门类型和硬件木马属性等敏感信息，从而可能帮助对手。虽然GIN等一些GNN架构提供了更强的韧性，但GAT等其他架构可能会加剧泄露。现有的防御技术效果有限，并且可能降低模型性能，这表明需要更强大的隐私保护解决方案。
-
新的GRAPE框架提升神经网络的对抗鲁棒性
研究人员推出了一种新颖的训练框架GRAPE，旨在增强神经网络的对抗鲁棒性，同时保持模型尺寸紧凑。GRAPE的独特之处在于将鲁棒模型学习视为一个演化过程，逐步暴露和优化参数，而不是从一开始就依赖固定结构。这种引导式参数空间演化方法，包括渐进式隐藏扩展和对抗性谱利用分数，在CIFAR-10上与传统的对抗训练方法相比，在鲁棒准确性方面取得了显著的改进，即使在计算预算相当且参数数量减少的情况下也是如此。
-
SORA方法可防止对抗性训练中的灾难性过拟合
研究人员推出了一种新颖的对抗性训练（AT）方法SORA，旨在解决快速AT变体中的灾难性过拟合问题。SORA通过形式化Epsilon过拟合（EO）并提出扰动对齐（PertAlign）来预测过拟合的发生。该方法根据损失曲面几何动态调整扰动，持续防止过拟合，并以更高的效率实现最先进的鲁棒性和干净准确率。
-
新理论界定了耦合梯度下降中的瞬态放大
研究人员开发了一种新的伪谱理论来分析耦合梯度下降中的瞬态放大，这是一种用于双层优化和对抗性训练的方法。该理论为块三角雅可比行列式提供了精确的界限，揭示了一种先前被谱半径分析所掩盖的非渐近学习动力学状态。在包括神经网络训练在内的各种问题上的实验证实了该理论的有效性。
-
匹配原则将机器学习鲁棒性与几何理论统一
一篇新论文介绍了“匹配原则”，这是一个将表示学习中的各种鲁棒性技术统一起来的几何理论。该原则提出，与其将域适应和对齐安全等问题分开处理，不如通过估计标签保持性干扰的协方差并相应地正则化编码器雅可比矩阵来解决它们。该框架将 CORAL 和对抗性训练等现有方法重新解释为该核心对象的不同估计器，为鲁棒学习提供了封闭形式的理论。
-
新框架 RobustLT 解决了不平衡数据集上的对抗性训练问题
研究人员开发了一个名为 RobustLT 的新框架，以改进深度神经网络的对抗性训练，特别是在具有长尾分布的数据集上。该框架解决了当前方法中的局限性，例如由于类别不平衡导致的训练目标倾斜和不稳定的对抗性分布。通过在训练过程中自适应地调整扰动，RobustLT 旨在增强对抗性鲁棒性和类别平衡性，这已在大量实验中得到证明。