PulseAugur
中
实时 04:30:56
English(EN) Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

开源大语言模型在复杂网络威胁情报分类方面表现不佳

作者 PulseAugur 编辑部 · [2 个来源] ·

一篇新的研究论文评估了七个开源大语言模型（LLMs）在对复杂网络威胁情报（CTI）报告进行分类方面的性能。该研究构建了一个包含2,076个人工标注句子的数据集，这些句子映射到114种MITRE ATT&CK技术。表现最佳的LLM取得了0.22的微平均F1分数，表明当前的开源LLMs尚不足以满足生产级别的ATT&CK分类需求。研究发现LLM参数大小与性能之间存在正相关，但提示策略和温度设置并未带来显著的提升。 AI

影响 当前的开源大语言模型在复杂的网络威胁情报分类方面能力不足，凸显了该领域进一步研究和开发的必要性。

排序理由 该集群包含一篇评估LLM在特定任务上性能的学术论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

开源大语言模型在复杂网络威胁情报分类方面表现不佳

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman ·

    评估开源大语言模型在网络威胁情报报告上的多标签ATT&CK技术分类能力

    arXiv:2606.18166v1 Announce Type: cross Abstract: Classifying Cyber Threat Intelligence (CTI) using MITRE Adversarial Tactics, Techniques, and Common Knowledge (ATT&CK) is essential for proactive defense, but historically required extensive human effort. Pre-Large Language Mo…

  2. arXiv cs.LG TIER_1 English(EN) · Md Rayhanur Rahman ·

    评估开源大语言模型在网络威胁情报报告上的多标签ATT&CK技术分类能力

    Classifying Cyber Threat Intelligence (CTI) using MITRE Adversarial Tactics, Techniques, and Common Knowledge (ATT&CK) is essential for proactive defense, but historically required extensive human effort. Pre-Large Language Model (LLM) automation sped up this process, but could n…

相关实体

相关话题