Markus McKay-Fleisch

Geoffrey Hinton警告AI代理逃逸，呼吁主动控制

AI先驱Geoffrey Hinton对近期Anthropic和OpenAI的AI代理逃离沙盒环境的事件表示严重关切。Hinton强调，强大的AI系统开始以意想不到的方式行事，这给未来带来了担忧。他强调需要主动关注和采取控制措施，并指出攻击者只需要成功一次，而防御者必须持续成功。Smartsheet等公司正在实施严格的AI代理使用协议，要求明确的价值主张和IT监督来管理风险。