研究人员推出了 KaliBench,这是一个旨在评估大型语言模型 (LLM) 生成网络安全工具精确命令行界面 (CLI) 命令能力的新基准测试。该基准测试包含 1,642 个工具的 8,504 个查询-命令对,重点关注网络安全操作中准确命令语法和参数绑定的关键方面。初步评估显示,当前的开源模型在此任务上面临困难,没有一个模型的精确命令准确率超过 42%。然而,使用 KaliBench 的可验证奖励进行微调,显著提高了 8B 模型的性能,使其接近一个大得多的 685B MoE 模型。 AI
影响 为评估 LLM 在关键网络安全命令行任务中的性能建立了一个新标准,有望提高模型在调用工具时的准确性和安全性。
排序理由 该集群描述了一个用于评估 LLM 在特定领域(网络安全 CLI 工具使用)的新基准测试和数据集,属于研究范畴。
在 Hugging Face Daily Papers 阅读 →
- KaliBench
- Kali Linux
- mixture of experts model
- natural-language--to--CLI
- open weight model
- LLMs
- RedSage-K-GRPO
- RISys-Lab
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →