CS-Guard

新的CS-Guard基准测试显示，LLM防护栏未能阻止恶意代码生成

一个名为CS-Guard的新基准测试已被开发出来，用于评估大型语言模型（LLM）防护栏在防止生成恶意代码方面的有效性。该基准测试包括超过1000个文本到代码生成的提示和331个代码到代码生成的提示，并结合了越狱攻击和一种新颖的虚构场景攻击。对七个LLM上的九个防护栏进行的实证测试显示出显著的漏洞，文本到代码生成的攻击成功率高达50%，代码到代码生成的攻击成功率接近100%，这引起了对实际软件开发的担忧。