Automated Detection Engineer

新框架评估大型语言模型生成的网络安全规则

一篇新的研究论文介绍了一个用于评估大型语言模型（LLMs）在网络安全规则生成方面能力的开源框架。该框架使用基于保留集的（holdout set-based）方法，将大型语言模型生成的规则与人类创建的规则进行比较，并提供三个关键的有效性指标。这种方法通过Sublime Security提供的规则进行了演示，其中包括其自动化检测工程师（ADE）生成的规则，结果提供了对ADE能力的详细分析。