Gotit.p

新框架在用户发布前审计大语言模型提示注入防御措施

一篇新的研究论文提出了一个审计框架，用于在大语言模型发布给用户之前测试其提示注入防御措施。该框架利用模型微调过程中的中间检查点作为基于优化的攻击的垫脚石，揭示了标准评估可能忽略的漏洞。通过采用 GCG 和 BEAST 等强大的攻击者，研究表明当前的防御措施可能比之前认为的要脆弱得多，攻击成功率从接近零上升到高达 96%。作者提倡这种部署前审计，以缩短反馈周期并防止现实世界中的损害。