一个名为SecLog-Bench的新基准已被开发出来，用于评估大型语言模型（LLM）在网络安全日志推理方面的能力。该基准通过提供更大的规模、整合多源日志（审计、应用程序和网络流量）以及为每个样本提供详细的、分步的证据链，解决了现有数据集的局限性。在SecLog-Bench上对八个主流LLM的评估显示，在攻击进展推理方面表现平平，表现最好的模型准确率仅为44.44%，Macro-F1仅为45.07%，表明当前LLM在该领域仍难以进行可靠的推理。 AI
影响 该基准突显了当前LLM在网络安全推理方面的局限性，表明需要进一步开发用于安全应用程序的强大、基于证据的分析。
排序理由 该项目描述了一个用于评估LLM在特定研究领域（网络安全日志推理）的新基准。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- application logs
- Audit logs--a security tool for CPRs
- cybersecurity
- large language models
- Macro F1
- SecLog-Bench
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
