研究人员开发了APTInvestBench,这是一个新的基准测试,旨在评估大型语言模型(LLM)代理在不同遥测设置下调查高级持续性威胁(APT)的鲁棒性。该基准测试包含370个案例,源自56次攻击重建,总计超过1600万条日志记录。对十一个LLM进行的初步测试表明,代理能够为平均44.3%的攻击行为获取足够证据,但正式引用仅支持25.0%,这凸显了证据可靠性和跨遥测稳定性方面存在的显著差距。 AI
影响 该基准测试旨在提高用于网络安全威胁调查的AI代理的可靠性和鲁棒性。
排序理由 该集群描述了一个用于评估AI代理的新基准测试,该基准测试发表在一篇学术论文中。
在 Hugging Face Daily Papers 阅读 →
- advanced persistent threats
- APTInvestBench
- APTS
- arXiv
- large language model
- LLM
- telemetry
- Hugging Face
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →