SCRIPTIOC-BENCH

新基准测试显示LLM在从恶意软件中提取威胁情报方面存在困难

研究人员推出了SCRIPTIOC-BENCH，这是一个旨在评估大型语言模型（LLM）从基于脚本的恶意软件中提取可操作威胁情报能力的新基准测试。该基准测试包含634个手动验证的JavaScript、PowerShell和VBScript样本，对妥协指标（IOCs）进行分类，如URL、域名、IP地址和文件系统伪影。初步评估显示，即使是最先进的LLM在静态IOC恢复方面也存在困难，最高F1分数仅为65.4%。该研究还提出了一个误报分类法，以…