Safety Needle-in-a-Haystack

新框架LongGuard和StepGuard增强了LLM安全护栏

研究人员开发了两个新框架LongGuard和StepGuard，以解决大型语言模型（LLM）中的安全故障。LongGuard专注于分析和缓解长上下文护栏中的故障，提出了分块检测和注意力头锐化等方法来提高安全召回率。另一方面，StepGuard为LLM代理引入了步进式护栏模型，使用名为StepGen的数据引擎和一种称为Balance-GRPO的强化学习技术来平衡安全性和效用，在执行前审计操作。