研究人员推出了VICBench，一个旨在评估代码漏洞检测工具的新基准。该基准包含100个经过验证的、在Python、Java和C++的88个项目中引入漏洞的提交（VICs），涵盖48种通用弱点枚举（CWE）类型。VICBench的特点是复杂的、真实的漏洞修复及其对应的VICs，这些VICs比先前数据集中的要大得多。使用VICBench进行的评估表明，V-SZZ和LLM4SZZ等当前最先进的算法仅获得中等F1分数，凸显了在自动化漏洞检测方面进一步发展的必要性。 AI
影响 该基准将能够对AI驱动的代码漏洞检测进行更稳健的评估，可能加速开发更有效的安全工具。
排序理由 该集群描述了一个用于评估AI模型在代码漏洞检测方面的新学术基准。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2608.12246v1 Announce Type: cross Abstract: Evaluating security vulnerability detection tools requires benchmark datasets with vulnerability-inducing commits (VICs) - the commits that first introduce vulnerabilities into codebases. VICs are essential for determining the ful…
Evaluating security vulnerability detection tools requires benchmark datasets with vulnerability-inducing commits (VICs) - the commits that first introduce vulnerabilities into codebases. VICs are essential for determining the full range of vulnerable software versions. Existing …