Backdoor Attacks
PulseAugur coverage of Backdoor Attacks — every cluster mentioning Backdoor Attacks across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
Hugging Face 的研究显示，后门攻击在所有维度上都很少具有隐匿性
Hugging Face 的一项新研究调查了深度神经网络后门攻击的隐匿性，超越了攻击成功率和良性准确率等传统指标。该研究提出了一个“三空间”测量框架，考虑输入、特征和参数空间，以分析攻击的“潜在隐匿性”与其可观察到的“足迹”。研究结果表明，后门攻击在所有维度上都很少具有隐匿性，通常在一个空间中安静，而在另一个空间中则很明显。该研究还引入了两个新的诊断指标：类特定 Davies--Bouldin 指数 (CDBI) 和 TAC--UCL…
-
研究人员嵌入加密神经网络以进行AI后门攻击
一项新研究详细介绍了一种构建后门攻击的方法，该方法将加密的神经网络嵌入到宿主模型中。这些隐藏的电路可以使用秘密触发器进行解密和执行，即使拥有模型权重的完全访问权限，也难以检测。这一发展引发了对“开放权重”AI模型安全性的担忧，并促使人们重新评估AI技术的潜在威胁。
-
新研究解决了联邦LLM微调中的后门攻击问题
两篇新研究论文提出了防御联邦大语言模型（LLM）后门攻击的先进方法。第一篇论文FedGraph引入了一个基于图的聚合框架，该框架对客户端更新之间的关系进行建模，以识别和抑制恶意贡献。第二篇论文HMP-GAE利用超图消息传递方法，防止在联邦聚合过程中传播语义损坏的知识。这两种方法都旨在提高协作LLM微调的隐私性和可信度。
-
新的UniGuardian系统可在未知攻击类型的情况下检测多种LLM攻击
研究人员推出UniGuardian，一个新颖的系统，旨在无需预先了解攻击类型即可检测针对大型语言模型（LLM）的各种攻击。这种无需训练的检测器通过分析结构化提示变化如何影响模型的输出分布来识别提示注入、后门和对抗性攻击。UniGuardian还采用单一前向策略来优化检测和文本生成过程，从而实现同时分析和输出创建。
-
新的NDDL框架可防御文本到图像模型的后门攻击
研究人员开发了一个名为正常扩散动力学学习（NDDL）的新防御框架，以对抗文本到图像扩散模型中的后门攻击。与依赖检测特定异常模式的先前方法不同，NDDL专注于扩散轨迹的转换动力学。它仅使用良性样本学习这些动力学的正常演变，并通过检测与此学习到的正常行为的偏差来识别后门。该框架还提供了一种通过替换低语义词来定位后门触发器的方法。
-
新方法无需重新训练即可解决 LLM 后门攻击
研究人员开发了两种新方法，NEEDLE 和零空间投影技术，以对抗大型语言模型 (LLM) 中的后门攻击。NEEDLE 是一种无需训练的方法，通过估计激活向量的后门方向和拒绝子空间，然后应用权重正交化来识别和抑制后门触发器。零空间投影方法专门针对 LoRA 微调的 LLM，通过将更新投影到正交零空间上来净化它们，而无需重新训练。这两种方法都旨在显著降低攻击成功率，同时保留 LLM 的通用能力和学到的下游技能。
-
新框架应对持续学习中的后门攻击
研究人员引入了一个新的持续学习框架，以应对顺序到达任务中后门攻击的挑战。该框架集成了样本净化、选择性恢复和鲁棒专家路由，以减轻灾难性遗忘，保持适应性，并防止恶意监督的吸收。提出的方法包括用于识别可疑样本的双原型净化（BPP），用于选择性恢复和伪标签校正的梯度差异鲁棒性优化（GDBRO），以及用于可靠专家路由的鲁棒特征一致性专家选择（RFCBES）。
-
新的后门攻击针对AI知识蒸馏过程
研究人员展示了一种对图像知识蒸馏进行后门攻击的新方法，该过程通常用于将大型AI模型的能力转移到小型模型上。该攻击通过用经过篡改的图像污染蒸馏数据集，导致学生模型学习到后门，即使教师模型不受影响且学生模型在干净数据上保持具有竞争力的性能。这凸显了AI管道中数据完整性和来源追溯的关键需求，因为仅靠受信任的教师模型不足以防止安全漏洞。
-
新型黑盒防御TRIM可检测并移除AI后门触发器
研究人员开发了TRIM，一种新颖的黑盒防御系统，旨在推理过程中检测和移除深度神经网络（DNN）中的后门触发器。与先前需要访问模型内部或训练数据的方法不同，TRIM仅通过黑盒访问进行操作。它识别负责异常行为的图像区域，使用修复和基于扩散的重建来净化这些被操纵的区域，并保留良性内容。TRIM的有效性已在各种数据集和触发器类型中得到证明，显著降低了攻击成功率，同时保持了高清洁准确率。
-
新的PEPPER防御机制可对抗文本到图像模型的后门攻击
研究人员开发了一种名为PEPPER（PErcePtion-Guided Perturbation，感知引导扰动）的新防御机制，用于对抗文本到图像扩散模型中的后门攻击。这些攻击通过在提示中嵌入触发器来操纵模型输出，使其产生有害内容。PEPPER通过重写输入标题，使其在视觉上相似但语义上远离原始标题，从而在无需模型重新训练或访问权重的情况下破坏嵌入的触发器。该方法在对抗基于文本编码器的攻击方面表现出特别的有效性，提高了鲁棒性并保持了生成质…
-
新的TRACE方法可检测目标检测模型中的后门
研究人员开发了一种名为TRACE（TRAnsformation Consistency Evaluation）的新方法，用于在测试时检测目标检测模型中的中毒样本。该技术解决了目标检测带来的独特挑战，因为目前的防御措施不足以应对可能导致“幽灵”对象或使对象消失的攻击。TRACE利用了这样一个观察结果：与干净样本相比，中毒样本在不同背景和不同焦点信息下表现出更一致的检测结果。通过评估对象置信度方差的变换一致性，TRACE提供了黑盒、通用的…
-
新研究详细介绍了语音识别模型的后门攻击和防御措施
两篇新研究论文探讨了语音识别模型遭受后门攻击的漏洞。第一篇论文介绍了SpeechGuard，一个通过识别和净化被污染的音频样本来实时检测和中和这些攻击的系统。第二篇论文详细介绍了“自然后门攻击”，它使用日常声音作为触发器，即使触发器很微妙或很短，也能展示出很高的成功率，并构成一种重大且难以检测的威胁。
-
新型防御措施应对自监督AI模型的后门攻击
研究人员推出了一种名为Platonic Representation Defense的新型防御机制，用于对抗自监督学习（SSL）模型的后门攻击。该方法在黑盒设置下运行，意味着它不需要访问标签、攻击模式或训练数据。该防御措施的灵感来源于柏拉图式表征假说（Platonic Representation Hypothesis），该假说认为独立训练的编码器可以形成兼容的现实投射。通过将此形式化为一个条件能量函数，该系统能够检测和净化表征，在对…
-
新的BYORn框架保护LVLMs免受后门攻击
研究人员开发了一个名为BYORn（Bootstrap Your Own Responses）的新型防御框架，用于在监督微调（SFT）过程中保护大型视觉语言模型（LVLMs）免受后门攻击。该方法利用预训练模型固有的语义理解能力来检测并用动态生成的、语义一致的响应替换恶意篡改的响应。BYORn能有效中和各种后门攻击，对模型的通用性能影响极小，在某些情况下甚至通过正则化效应提升了模型性能。
-
触发器的颜色显著影响联邦学习后门攻击的成功率
研究人员已经证明，视觉触发器的颜色显著影响联邦学习中后门攻击的成功率。通过操纵口罩和太阳镜等语义对象上的触发器颜色，攻击者可以在不改变攻击流程的情况下影响模型的行为。实验表明，白色触发器在针对金发类别时更有效，而黑色触发器在针对黑发类别时效果更好，即使在鲁棒聚合方法下也是如此。
-
新研究详细介绍了针对物联网/信息物理系统持续学习系统的后门攻击
一篇新论文详细介绍了一种专门为物联网（IoT）和信息物理系统（CPS）中的持续学习系统设计的后门攻击。研究强调了持续适应虽然对这些系统有益，但也会产生漏洞，允许恶意行为被植入并保持休眠状态，直到被触发。该研究形式化了与物联网/信息物理系统环境相关的威胁模型，并分析了后门在这些管道中被放大的持久性，强调了在终身学习应用中加强安全措施的必要性。
-
新的RING攻击利用联邦学习中的差分隐私
研究人员开发了一种名为RING的新攻击方法，该方法利用联邦学习（FL）中的差分隐私（DP）来隐藏恶意更新。与先前的假设相反，DP可以掩盖后门攻击的统计特征，使现有防御措施失效。RING在针对最先进的防御措施时取得了90.3%的攻击成功率，凸显了DP-FL部署中存在的重大安全漏洞，并伴随着显著的效用权衡。
-
新方法利用共享机制解决大语言模型后门攻击
研究人员开发了新的方法来对抗大语言模型（LLMs）中的后门攻击。一种方法是嵌入一个“虚拟后门”，通过在已知后门模式上对模型进行微调来帮助移除未知的恶意触发器。另一种方法识别各种后门类型之间共享的潜在机制，从而通过概念消融微调（CAFT）等技术实现统一的检测和缓解。这些方法旨在通过降低这些隐藏攻击的成功率同时保持模型的效用，来提高大语言模型的安全性和可靠性。
-
新型后门攻击威胁关键基础设施中的AI故障检测
研究人员详细介绍了一种新型后门攻击，该攻击针对用于网络物理系统故障检测的机器学习模型。这些攻击通过在训练数据中巧妙地植入特定模式进行投毒，导致模型仅在存在这些触发器时才出现异常行为。研究表明，即使10%的数据投毒率也能有效破坏这些关键系统，而这些系统对于智能电网和工业自动化等基础设施至关重要。
-
TimeGuard 防御机制应对时间序列预测中的后门攻击
研究人员开发了TimeGuard，一种专门针对时间序列预测（TSF）的后门攻击的新防御机制。现有的防御机制在TSF方面存在困难，因为数据纠缠和任务制定转移会稀释信号，并使被污染的数据与干净数据无法区分。TimeGuard通过采用通道级池训练和基于时间感知标准初始化的置信度高的池，以及距离正则化损失选择来管理训练退化，从而解决了这些问题。实验表明，TimeGuard在保持干净性能的同时，显著增强了对TSF后门攻击的鲁棒性。