PulseAugur
中
实时 15:13:13
English(EN) KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards

新的 KaliBench 基准测试对 LLM 的网络安全 CLI 命令生成能力进行测试

研究人员推出了 KaliBench,这是一个旨在评估大型语言模型 (LLM) 生成网络安全工具精确命令行界面 (CLI) 命令能力的新基准测试。该基准测试包含 1,642 个工具的 8,504 个查询-命令对,重点关注网络安全操作中准确命令语法和参数绑定的关键方面。初步评估显示,当前的开源模型在此任务上面临困难,没有一个模型的精确命令准确率超过 42%。然而,使用 KaliBench 的可验证奖励进行微调,显著提高了 8B 模型的性能,使其接近一个大得多的 685B MoE 模型。 AI

影响 为评估 LLM 在关键网络安全命令行任务中的性能建立了一个新标准,有望提高模型在调用工具时的准确性和安全性。

排序理由 该集群描述了一个用于评估 LLM 在特定领域(网络安全 CLI 工具使用)的新基准测试和数据集,属于研究范畴。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的 KaliBench 基准测试对 LLM 的网络安全 CLI 命令生成能力进行测试

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群描述了一个用于评估 LLM 在特定领域(网络安全 CLI 工具使用)的新基准测试和数据集,属于研究范畴。
Source corroboration
2 independent sources
Multiple independent publishers reporting the same story raises confidence that it's real and newsworthy.
Topics
paper, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
48 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [2]

  1. arXiv cs.AI TIER_1 English(EN) · Pengfei Li, Naufal Suryanto, Sicheng Zhang, Muzammal Naseer ·

    KaliBench:Kali Linux 上网络安全工具使用的细粒度基准测试,具有运行时免费的可验证奖励

    arXiv:2610.02206v1 Announce Type: cross Abstract: LLMs are increasingly applied to cybersecurity workflows, where they are expected to translate analysts' intent into tool invocations. However, existing evaluations focus on knowledge-based assessments or end-to-end agentic tasks,…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    KaliBench:Kali Linux 上网络安全工具使用的细粒度基准测试,具有运行时免费的可验证奖励

    LLMs are increasingly applied to cybersecurity workflows, where they are expected to translate analysts' intent into tool invocations. However, existing evaluations focus on knowledge-based assessments or end-to-end agentic tasks, and do not directly measure LLMs' ability to gene…