Acronicta

上下文炸弹在模拟安全漏洞中阻止 AI 代理

研究人员开发了一种“上下文炸弹”技术，用于在模拟安全漏洞中阻止 AI 代理。该方法包括在伪造凭证中嵌入一个简短的欺骗性字符串，该字符串会触发代理自身的安全协议并停止其操作。在对五种先进 AI 模型进行的测试中，这种防御措施将成功入侵的比例显著降低了约 90%，将管理员访问权限的尝试成功率从 57% 降至仅 5%。其有效性依赖于模型现有的过度敏感的拒绝机制，前提是这些护栏保持激活状态。