Juliet

开发者寻求对新型LLM漏洞检测基准测试的反馈

一位开发者创建了一个基准测试系统，旨在测试大型语言模型（LLMs）在代码混淆和包含误导性注释的情况下检测代码漏洞的能力。该系统使用Juliet测试用例，并进行了修改以使其看起来像一个真实的代码库，同时还加入了具有不同情感倾向的注释，以检验它们对LLM性能的影响。开发者正在寻求关于该项目新颖性和潜力的反馈，并希望在完成其演示和与已发布的LLMs进行基准测试方面获得帮助。