Tracebit

防御者利用提示注入来阻止AI黑客代理

研究人员发现了一种针对AI黑客代理的新防御策略，称为“上下文轰炸”，它利用提示注入来触发大型语言模型的拒绝机制。通过在模拟环境中将特定的、禁止的命令与密码或加密密钥等敏感数据一起嵌入，这些提示会导致AI停止其恶意行为。初步测试表明，这种方法显著降低了AI代理试图获得未经授权访问的成功率，其中一个先进模型在受到此防御措施的影响后，所有管理访问尝试均告失败。