Florian Tramèr

斯坦福会议警告：人工智能代理发展速度超过安全保障

斯坦福大学人工智能安全会议上的人工智能安全研究人员强调，人工智能代理的开发速度超过了其安全保障速度，带来了重大风险。主要担忧包括提示注入（prompt injection），可能导致人工智能工具的持久记忆操纵和自我修改，以及上下文投毒（context poisoning），恶意文档可能劫持代理的决策过程。这些威胁的快速演变，攻击进展时间急剧缩短，迫使我们重新评估围绕人类行为建立的传统安全假设。