SecLog-Bench

新的SecLog-Bench基准揭示了LLM在网络安全日志推理方面的有限能力

一个名为SecLog-Bench的新基准已被开发出来，用于评估大型语言模型（LLM）在网络安全日志推理方面的能力。该基准通过提供更大的规模、整合多源日志（审计、应用程序和网络流量）以及为每个样本提供详细的、分步的证据链，解决了现有数据集的局限性。在SecLog-Bench上对八个主流LLM的评估显示，在攻击进展推理方面表现平平，表现最好的模型准确率仅为44.44%，Macro-F1仅为45.07%，表明当前LLM在该领域仍难以进行可靠的推理。