研究人员推出了一款名为HardEval的新基准,旨在评估AI模型在实时操作系统上执行安全加固和合规性修复任务的能力。与以往侧重于隔离代码或通用应用程序的基准不同,HardEval测试AI模型将自然语言安全需求转化为Red Hat Enterprise Linux 8等系统的精确配置更改的能力。该基准使用专家编写的修复程序和OVAL检查的隐藏真实数据,并在虚拟机上执行AI生成的Bash脚本以验证合规性。 AI
影响 该基准有望提升AI在自动化复杂系统管理和安全任务方面的能力。
排序理由 该集群描述了一个用于评估AI能力的新学术基准。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Bash
- HardEval
- Hugging Face
- OpenSCAP
- Open Vulnerability and Assessment Language
- Red Hat Enterprise Linux 8
- Security Technical Implementation Guide
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →