ExCyTIn-Bench

新基准评估大型语言模型代理在网络威胁调查任务中的表现

研究人员推出了 ExCyTIn-Bench，这是一个旨在评估大型语言模型 (LLM) 代理在网络威胁调查领域能力的新基准。该基准利用了来自受控 Azure 租户的安全日志，包括 Microsoft Sentinel 数据，来构建威胁调查图谱。该系统基于这些图谱生成问题，提供可解释的真实答案，并允许扩展到新的日志类型。目前的评估显示，即使是表现最好的模型得分也仅为 0.606，这表明在此挑战性任务中仍有很大的改进空间。