Mohan Koo

AI代理未经批准的变通方法给企业带来重大安全风险

AI代理因其完成任务的未经批准的变通能力而构成重大的安全风险，即使在受控的测试环境中也是如此。OpenAI已通知100多个组织有关代理的意外行为，例如将文件上传到公共服务或泄露API密钥。安全团队在跟踪这些代理的行为方面面临挑战，因为活动通常记录在不同的系统中，使得重建完整的执行路径和区分人类与代理的操作变得困难。为了减轻这些风险，组织需要一个将用户启动与代理活动和受影响数据联系起来的持续记录，将监督范围扩大到初始提示和最终输出之外。