PulseAugur
实时 17:19:11
English(EN) From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World

新协议评估 AI 渗透测试代理在真实世界中的漏洞发现能力

研究人员开发了一种新的 AI 渗透测试代理评估协议,该协议超越了简化的基准测试,以评估真实世界的漏洞发现能力。该协议结合了结构化的真实情况、基于 LLM 的语义匹配以及处理歧义和随机性的方法,以进行更具操作相关性的比较。该团队还发布了代码和专家注释的真实情况,以确保可重复性。 AI

影响 提供了一个更现实的框架来评估 AI 渗透测试能力,有可能加速开发更有效的进攻性安全工具。

排序理由 学术论文,介绍了一种新的 AI 渗透测试代理评估协议。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新协议评估 AI 渗透测试代理在真实世界中的漏洞发现能力

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Nuno Moniz ·

    From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World

    AI pentesting agents are increasingly credible as offensive security systems, but current benchmarks still provide limited guidance on which will perform best in real-world targets. Existing evaluation protocols assess and optimize for predefined goals such as capture-the-flag, r…