GPT-OSS Safeguard
PulseAugur coverage of GPT-OSS Safeguard — every cluster mentioning GPT-OSS Safeguard across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
发现新的大型语言模型安全漏洞“目标重绑定”
研究人员发现了一种新的大型语言模型安全防护机制漏洞,称为“目标重绑定”,攻击者可以欺骗防护机制评估一个无害的诱饵提示,而不是实际的有害内容。该技术成功绕过了包括 Shieldstral-1.0-3B、ShieldGemma 和 Llama Guard 3 在内的多个测试模型的安全措施。提出的解决方案包括训练防护机制考虑内容中最有害的部分,这显著降低了攻击成功率,但仍需进一步研究以确认其不劣性。
-
Niyam-AI 使用零知识证明实现可验证的 AI 代理安全
研究人员推出了 Niyam-AI,这是一个旨在为 AI 代理提供加密可验证安全护栏的新颖框架。与依赖软件检查的现有方法不同,Niyam-AI 使用隔离的 Judge 模型和零知识证明(zk-SNARKs)来数学上验证每个工具调用是否符合预定义的约束。这种方法提供了可证明的安全执行保证,允许第三方在无需访问模型内部权重的情况下确认合规性。在 Agent-SafetyBench 数据集上的评估表明,Niyam-AI 的性能显著优于 NeM…
-
开源安全防护模型接受评估;较小的 Qwen Guard 在召回率方面领先
一项新的研究论文使用包含八个安全类别、超过 79,000 个样本的基准来评估 14 个开源安全防护模型。研究发现,模型大小与安全检测性能不相关,令人惊讶的是,一个较小的模型 Qwen Guard(40亿参数)实现了 83.97% 的最高召回率。Llama Guard 和 GPT-OSS Safeguard 等较大模型错过了大量不安全内容,凸显了召回率作为安全应用的关键指标。
-
GLiNER Guard 在单次推理中统一LLM安全与PII检测
一个名为GLiNER Guard (GLiGuard) 的新系统已被开发出来,用于简化大型语言模型的安全审核和PII检测。这个统一的编码器将多个分类器和NER模型折叠到一次前向传播中,与现有的自回归或碎片化编码器方法相比,显著降低了处理时间和成本。GLiGuard的模式驱动接口允许在不重新训练的情况下动态更改策略,使其成为生产LLM应用程序的更高效解决方案。