研究人员推出了SCRIPTIOC-BENCH,这是一个新的基准测试,旨在评估大型语言模型(LLM)从基于脚本的恶意软件中提取可操作威胁情报的能力。该基准测试包含634个经过验证的JavaScript、PowerShell和VBScript样本,重点关注四种类型的攻击指标(IOCs):URL、域名、IP地址和文件系统伪影。评估显示,即使是表现最好的LLM在静态IOC恢复方面也面临挑战,最高F1分数仅为65.4,凸显了该领域的持续挑战。 AI
影响 该基准测试有望推动LLM在网络安全威胁检测和分析能力方面的改进。
排序理由 该集群描述了一个用于评估LLM在特定安全任务上表现的新学术基准测试,已在arXiv上发布。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →