Adversarial Attacks and Defense Mechanisms to Improve Robustness of Deep Temporal Point Processes
PulseAugur coverage of Adversarial Attacks and Defense Mechanisms to Improve Robustness of Deep Temporal Point Processes — every cluster mentioning Adversarial Attacks and Defense Mechanisms to Improve Robustness of Deep Temporal Point Processes across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的UniGuardian系统可在未知攻击类型的情况下检测多种LLM攻击
研究人员推出UniGuardian，一个新颖的系统，旨在无需预先了解攻击类型即可检测针对大型语言模型（LLM）的各种攻击。这种无需训练的检测器通过分析结构化提示变化如何影响模型的输出分布来识别提示注入、后门和对抗性攻击。UniGuardian还采用单一前向策略来优化检测和文本生成过程，从而实现同时分析和输出创建。
-
新研究发现常见的AI防御在边缘视觉系统上失效
一篇新研究论文揭示，标准的对抗性攻击预处理防御在深度可分离卷积神经网络（CNN）上是无效的，而这类网络在边缘视觉系统中很常见。这些先前在残差或Inception类架构上评估过的防御措施，在深度可分离模型上的恢复率很低。然而，该研究也发现了一个对抗性检测的机会，因为预处理会持续干扰干净的预测，而对抗性预测则基本保持不变。该论文认为，标准的图像质量指标在评估防御有效性方面不可靠，并为实践者提供了一个决策框架。
-
联邦学习面临新的对抗性攻击和防御研究 · 跟踪 2 个来源
两篇最新的 arXiv 论文探讨了联邦学习 (FL) 框架中对抗性攻击和防御的挑战。第一篇论文研究了在 FL 中对 Vision Transformers 进行对抗性训练的可行性，并提出了一种名为 FedWAvg 的新聚合方法，以提高非独立同分布 (non-IID) 数据上的鲁棒准确性。第二篇论文分析了对抗性样本在 FL 中跨不同客户端模型的可迁移性，并引入了一种基于对抗性训练的防御机制来缓解这些攻击，提供了对系统漏洞的理论见解。
-
对抗性攻击影响时尚潮流，凸显安全漏洞
对抗性攻击，一种通过对数据进行微小修改来欺骗AI算法的技术，正开始影响时尚潮流。这种方法允许在图像上进行微小改动就能获得算法的最大评分。文章认为，投资网络安全，尤其是在柏林，比仅仅关注监控更有益。
-
大语言模型（LLM）为零信任架构带来新的安全风险
大型语言模型（LLM）正在引入新的安全漏洞，而传统的“零信任”架构可能无法解决这些漏洞。攻击者可以通过提示注入等方法利用LLM生成个性化的网络钓鱼脚本或未经授权访问敏感信息，从而绕过现有的网络和设备安全措施。为应对这些威胁，组织必须将零信任原则扩展到AI系统，方法包括进行针对LLM的漏洞审计、实施提示的输入/输出过滤器、持续监控LLM行为是否存在异常、制定严格的使用策略，以及在关键决策中纳入人工监督。
-
新基准揭示AI代理易受有害行为攻击
研究人员开发了一个名为BAD-ACTS的新基准，用于评估AI代理系统在对抗性攻击下诱导有害行为的鲁棒性。该基准包含五个不同的代理系统实现和一个近700个对抗性样本的数据集。测试显示，当前代理系统非常脆弱，恶意行为的成功率根据底层模型不同，范围在40%到90%之间。该研究还提出了一种基于零样本消息监控的防御机制来缓解这些风险。
-
新的时间编辑攻击目标是手写体AI
研究人员开发了一种新的方法，用于对用于在线手写识别的深度学习模型进行对抗性攻击。与可能引入可见伪影的现有空间扰动技术不同，这种新颖的方法使用基于显著性的时间编辑。通过在通过基于梯度的激活映射识别出的关键时间步插入或删除点，该方法在生成对抗性示例的同时，保留了书写的自然形状和流畅性。与传统的基于图像的攻击相比，这种时间编辑攻击在单次黑盒场景中表现出更强的可迁移性，凸显了对书写识别系统的一个重大威胁模型。
-
新的凸训练方法增强了神经网络对对抗性攻击的鲁棒性
研究人员开发了一种新颖的浅层神经网络训练方法，以增强其对对抗性攻击的抵抗能力。该技术通过首先引入一个可以有效优化以达到全局最优的凸约束，来解决一个非凸Lipschitz正则化训练问题。所提出的方法可以作为后处理步骤应用于现有的预训练网络，确保最终网络的性能不劣于初始网络。在真实数据集上的实验表明，与现有方法相比，这种凸训练程序产生的网络在目标值、准确性和对抗性扰动鲁棒性方面均有所提高。
-
神经变异性提升AI网络对攻击的鲁棒性
研究人员探讨了与生物大脑相似的神经变异性如何增强人工神经网络的鲁棒性。他们的研究发现，在人工神经网络中引入结构化噪声可以显著提高其对对抗性攻击和自然图像修改的抵抗能力。虽然对自然变化的鲁棒性最受益于特定的噪声结构，但来自对抗性攻击的噪声在不同攻击类型之间表现出更好的泛化能力，这表明了一种使用局部信息创建更鲁棒的AI系统的生物学上可行的方法。
-
新AI研究聚焦数据摘要中的对抗性攻击
研究人员开发了新的方法来攻击和防御数据摘要过程中的对抗性扰动。该研究关注改变数据的相似性结构如何降低摘要质量并影响下游AI任务。他们提出了用于生成多目标攻击的最小-最大优化和用于鲁棒防御的正则化最大-最小问题，并提供了具有理论保证的算法。
-
探索利用量子计算提升人工智能对抗鲁棒性
arXiv cs.AI 存储库中的一个新章节探讨了量子计算与人工智能的交叉点，以增强对抗鲁棒性。它详细介绍了如何利用叠加和纠缠等量子原理来防御人工智能模型免受对抗性攻击，这对于医疗保健和自主系统等领域的安全至关重要。该工作概述了量子增强防御的概念框架，包括量子优化和混合量子经典架构，同时还讨论了当前的挑战和未来的研究方向。