Snyk VulnBench JS 1.0

基准测试显示，LLM 在安全审计中的可重复性表现不一

一个名为 Snyk VulnBench JS 1.0 的新基准测试已被开发出来，用于评估大型语言模型 (LLM) 安全审查的可重复性。该基准测试发现，虽然 LLM 的发现结果在不同运行之间可能存在显著差异，但与参考匹配的发现结果显示出更大的稳定性。研究表明，将 agentic LLM 安全审查与 Snyk Code 等确定性静态应用程序安全测试 (SAST) 工具相结合，比单独依赖任何一种方法都能提供更稳健的解决方案。