Adversarial Attacks and Defense Mechanisms to Improve Robustness of Deep Temporal Point Processes
PulseAugur coverage of Adversarial Attacks and Defense Mechanisms to Improve Robustness of Deep Temporal Point Processes — every cluster mentioning Adversarial Attacks and Defense Mechanisms to Improve Robustness of Deep Temporal Point Processes across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
大语言模型（LLM）为零信任架构带来新的安全风险
大型语言模型（LLM）正在引入新的安全漏洞，而传统的“零信任”架构可能无法解决这些漏洞。攻击者可以通过提示注入等方法利用LLM生成个性化的网络钓鱼脚本或未经授权访问敏感信息，从而绕过现有的网络和设备安全措施。为应对这些威胁，组织必须将零信任原则扩展到AI系统，方法包括进行针对LLM的漏洞审计、实施提示的输入/输出过滤器、持续监控LLM行为是否存在异常、制定严格的使用策略，以及在关键决策中纳入人工监督。
-
新基准揭示AI代理易受有害行为攻击
研究人员开发了一个名为BAD-ACTS的新基准，用于评估AI代理系统在对抗性攻击下诱导有害行为的鲁棒性。该基准包含五个不同的代理系统实现和一个近700个对抗性样本的数据集。测试显示，当前代理系统非常脆弱，恶意行为的成功率根据底层模型不同，范围在40%到90%之间。该研究还提出了一种基于零样本消息监控的防御机制来缓解这些风险。
-
新的时间编辑攻击目标是手写体AI
研究人员开发了一种新的方法，用于对用于在线手写识别的深度学习模型进行对抗性攻击。与可能引入可见伪影的现有空间扰动技术不同，这种新颖的方法使用基于显著性的时间编辑。通过在通过基于梯度的激活映射识别出的关键时间步插入或删除点，该方法在生成对抗性示例的同时，保留了书写的自然形状和流畅性。与传统的基于图像的攻击相比，这种时间编辑攻击在单次黑盒场景中表现出更强的可迁移性，凸显了对书写识别系统的一个重大威胁模型。
-
新的凸训练方法增强了神经网络对对抗性攻击的鲁棒性
研究人员开发了一种新颖的浅层神经网络训练方法，以增强其对对抗性攻击的抵抗能力。该技术通过首先引入一个可以有效优化以达到全局最优的凸约束，来解决一个非凸Lipschitz正则化训练问题。所提出的方法可以作为后处理步骤应用于现有的预训练网络，确保最终网络的性能不劣于初始网络。在真实数据集上的实验表明，与现有方法相比，这种凸训练程序产生的网络在目标值、准确性和对抗性扰动鲁棒性方面均有所提高。
-
神经变异性提升AI网络对攻击的鲁棒性
研究人员探讨了与生物大脑相似的神经变异性如何增强人工神经网络的鲁棒性。他们的研究发现，在人工神经网络中引入结构化噪声可以显著提高其对对抗性攻击和自然图像修改的抵抗能力。虽然对自然变化的鲁棒性最受益于特定的噪声结构，但来自对抗性攻击的噪声在不同攻击类型之间表现出更好的泛化能力，这表明了一种使用局部信息创建更鲁棒的AI系统的生物学上可行的方法。
-
新AI研究聚焦数据摘要中的对抗性攻击
研究人员开发了新的方法来攻击和防御数据摘要过程中的对抗性扰动。该研究关注改变数据的相似性结构如何降低摘要质量并影响下游AI任务。他们提出了用于生成多目标攻击的最小-最大优化和用于鲁棒防御的正则化最大-最小问题，并提供了具有理论保证的算法。
-
探索利用量子计算提升人工智能对抗鲁棒性
arXiv cs.AI 存储库中的一个新章节探讨了量子计算与人工智能的交叉点，以增强对抗鲁棒性。它详细介绍了如何利用叠加和纠缠等量子原理来防御人工智能模型免受对抗性攻击，这对于医疗保健和自主系统等领域的安全至关重要。该工作概述了量子增强防御的概念框架，包括量子优化和混合量子经典架构，同时还讨论了当前的挑战和未来的研究方向。