ReNeLLM

提示注入：LLM安全的新模型和防御措施出现

提示注入是一种漏洞，其中不受信任的输入会覆盖LLM的指令，仍然是一个重大的安全挑战。研究人员提出了一个七个组成部分的模型来分析和分类这些攻击，超越了简单的字符串匹配来理解攻击者的意图。实际的防御措施包括将用户数据与系统指令分开，通过最小权限限制模型能力，在执行前验证输出，以及采用分层安全措施。专家强调，提示注入是一个架构问题，没有单一的解决方案，需要持续的监控和测试。