APTInvestBench

新基准评估用于网络威胁调查的大语言模型代理

研究人员开发了APTInvestBench，这是一个新的基准，旨在评估大型语言模型（LLM）代理在不同遥测设置下调查高级持续性威胁（APT）的鲁棒性。该基准包含370个案例，源自56次攻击重建，总计超过1600万条日志记录，并评估代理收集足够证据和提供正式引用的能力。对11个LLM的初步测试表明，代理能够为平均44.3%的可恢复攻击行为获取足够证据，但只有25.0%的证据得到了正式引用的支持，这凸显了可靠证据获取和报告方面存在重大差距。