新方法为LLM安全分类器提供形式化保证

研究人员开发了一种新的方法，可以形式化验证大型语言模型（LLM）安全护栏分类器的安全性，超越了传统的红队测试。这种方法将验证从离散输入空间转移到分类器的预激活空间，将有害区域定义为凸形状。通过分析这些区域，研究人员在测试的安全护栏分类器中发现了可验证的安全漏洞，表明仅凭经验指标可能会产生误导。该研究还强调了BERT、GPT-2和Llama-3.1-8B等模型在安全保证结构稳定性方面存在显著差异。 AI

影响 提供了一种新的、可验证的方法来评估LLM安全性，超越了经验测试，有可能提高已部署模型的可靠性。

排序理由 该集群包含一篇学术论文，详细介绍了评估LLM安全性的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• BERT
• GPT-2
• Guardrail Classifiers
• Llama-3.1-8B
• LLM

• 论文
• 安全

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →