Klornakken

AI提示注入防御侧重于系统设计，而非模型提示 · 跟踪2个来源

提示注入是AI系统中的一个重大安全漏洞，目前正通过两种不同的方法来解决。一种方法侧重于在AI模型周围构建强大的防御措施，将不可信的输入视为数据而非指令，并确保不可逆操作通过哈希进行严格控制和验证。另一种方法则强调将AI模型的决策与实际执行分离，限制其能力，并要求对关键操作进行人工确认。这两种策略的目标都是防止受损的AI造成损害，即使模型本身被操纵。