AI hacking agents
PulseAugur coverage of AI hacking agents — every cluster mentioning AI hacking agents across labs, papers, and developer communities, ranked by signal.
-
人工智能黑客代理被“上下文轰炸”防御策略挫败 · 跟踪 8 个来源
研究人员发现了一种名为“上下文轰炸”的新型防御策略，该策略利用提示注入来中和人工智能黑客代理。通过在敏感数据中嵌入恶意命令，这些提示会触发人工智能的安全护栏，使其在执行有害操作之前关闭。对 Opus 4.8 和 Gemini-3.1 Pro 等模型的初步测试显示，成功攻击率急剧下降，其中 Opus 4.8 模型在受到该技术攻击时，每次尝试的行政接管都失败了。该方法建立在早期检测人工智能代理对手工作的基础上，为阻止网络威胁提供了一种更主动的方法。
-
提示注入被用于防御性地禁用人工智能黑客代理
安全研究人员开发了一种新颖的防御策略，通过采用提示注入技术来对抗人工智能黑客代理。这种被称为“上下文炸弹”的方法，涉及将恶意命令嵌入云系统秘密中。当攻击性人工智能代理试图访问这些秘密时，嵌入的命令会欺骗它违反自身的安全协议并关闭。
-
防御者利用提示注入来阻止AI攻击 · 跟踪4个来源
防御者现在正在采用提示注入技术来对抗AI驱动的攻击。Tracebit的研究人员发现，将提示注入与敏感数据（如密码和加密密钥）一起嵌入到Amazon Web Services等平台上，可以有效地阻止AI黑客代理的攻击。这些提示旨在引导恶意LLM执行违反其安全护栏的操作，从而导致它们关闭。
-
新框架 Honeyval 评估 LLM 驱动的蜜罐对抗 AI 攻击者
研究人员推出 Honeyval，这是一个新的评估框架，旨在评估大型语言模型 (LLM) 作为 HTTP 蜜罐的有效性。该框架通过引入 AI 黑客代理作为攻击者，并将蜜罐置于 16 个后端应用程序中，解决了先前评估方法的局限性。使用 Honeyval 进行的实验表明，与传统的基于规则的系统相比，LLM 驱动的蜜罐可以更长时间地吸引攻击者，并且即使面对先进的 AI 模型也不太可能被检测到，同时还保持成本优势。