role spoofing

新研究详细介绍了大型语言模型“角色欺骗”漏洞及缓解措施

一篇新研究论文探讨了大型语言模型（LLM）遭受“角色欺骗”的漏洞，这是一种提示注入（prompt injection）类型，恶意文本可以通过模仿用户的写作风格或格式来冒充用户。该研究“理解和缓解大型语言模型中的角色欺骗”揭示，大型语言模型依赖内容和结构线索来跟踪对话角色，使其容易受到结合了虚假结构和内容的攻击。虽然对抗性训练（adversarial training）可以帮助防御基于内容的攻击，但它会让模型容易受到基于结构的冒充。研究…