APTInvestBench

新的基准测试评估LLM代理在不同遥测设置下的APT调查能力

研究人员开发了APTInvestBench，这是一个新的基准测试，旨在评估大型语言模型（LLM）代理在不同遥测设置下调查高级持续性威胁（APT）的鲁棒性。该基准测试包含370个案例，源自56次攻击重建，总计超过1600万条日志记录。对十一个LLM进行的初步测试表明，代理能够为平均44.3%的攻击行为获取足够证据，但正式引用仅支持25.0%，这凸显了证据可靠性和跨遥测稳定性方面存在的显著差距。