JavaVulBench

发布用于 LLM 的 Java 和 Rust 漏洞检测新基准

发布了两个新的基准测试集 JavaVulBench 和 RustMizan，用于评估大型语言模型在软件漏洞检测方面的能力。JavaVulBench 专注于 Java 方法，包含超过 1,740 个通用漏洞披露 (CVE)，并提供多种真实的拆分策略用于测试。RustMizan 针对 Rust 漏洞，提供可编译的代码和一个突变框架来测试污染和鲁棒性。与之前使用小型代码片段且缺乏污染意识的数据集相比，这两个基准测试旨在提供更现实、更全面的评估。