Nikhil Kandpal

OpenAI构建GPT-Red AI以自动化模型安全测试 · 跟踪4个来源

OpenAI开发了一个名为GPT-Red的AI系统，旨在充当“超级黑客”，以增强其其他大型语言模型的安全性和可靠性。GPT-Red采用自我对抗机制，与其他模型进行对抗，以发现和利用漏洞，特别是在提示注入攻击等领域。这种自动化的红队测试方法旨在主动识别和修补弱点，使OpenAI的模型在面对潜在的现实世界威胁时更加鲁棒和安全，包括GPT-Red发现的“虚假思维链”等新型攻击向量。