7-billion-parameter models

新框架诊断用于网络安全问答的小型LLM

开发了一个名为FiT的新诊断框架，用于评估小型大型语言模型（LLM）在网络安全问答（QA）任务中的表现。该框架评估三个关键能力：词汇识别、参数知识和检索信息的语境化。一项使用五个70亿参数模型的实证研究表明，微调可能会对词汇和参数知识产生负面影响，不同的微调机制会导致性能上的权衡。研究结果表明，预微调诊断有助于选择合适的模型，并提高LLM在网络安全领域的安全部署。