Qwen3Guard
PulseAugur coverage of Qwen3Guard — every cluster mentioning Qwen3Guard across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
发现新的大型语言模型安全漏洞“目标重绑定”
研究人员发现了一种新的大型语言模型安全防护机制漏洞,称为“目标重绑定”,攻击者可以欺骗防护机制评估一个无害的诱饵提示,而不是实际的有害内容。该技术成功绕过了包括 Shieldstral-1.0-3B、ShieldGemma 和 Llama Guard 3 在内的多个测试模型的安全措施。提出的解决方案包括训练防护机制考虑内容中最有害的部分,这显著降低了攻击成功率,但仍需进一步研究以确认其不劣性。
-
使用SFT、DPO和守卫校准研究阿拉伯语LLM安全对齐
一篇新发表在arXiv上的研究探讨了改进阿拉伯语大型语言模型安全对齐的方法。研究人员评估了五种支持阿拉伯语的模型上的监督微调(SFT)、直接偏好优化(DPO)和守卫校准技术。研究结果表明,虽然仅拒绝的SFT可能导致过于宽泛的拒绝,但特定的混合SFT配置可以实现高有害提示拒绝率,同时保持可接受的良性提示拒绝率。DPO和推理守卫在不同模型上显示出不同的效果,表明需要模型特定的优化,而不是一刀切的方法。研究还指出,现代标准阿拉伯语的改进并未…
-
AI安全防护模型易受“拒绝提示捷径”攻击
研究人员发现AI安全防护模型存在一个名为“拒绝提示捷径”的重大漏洞。该捷径允许通过简单地包含拒绝短语来将有害的AI响应错误地归类为安全。此问题影响了广泛使用的安全防护训练数据集,甚至包括LlamaGuard3和Qwen3Guard等官方发布的模型。为解决此问题,开发了一种使用稀疏互补掩码的后处理干预方法,该方法在无需重新训练模型的情况下,可将由拒绝提示引起的检测失败率有效降低约79%,同时保持标准的检测性能。
-
Mistral AI 发布政策自适应多模态安全模型 Shieldstral
Mistral AI 发布了 Shieldstral 1.0 3B,这是一款专为高效内容审核设计的新型多模态安全分类器。与预测固定类别的传统模型不同,Shieldstral 在推理时能够适应提供的自然语言安全策略,从而无需重新训练即可处理新颖的审核标准。这款紧凑、开放权重模型可以处理文本、图像或两者兼有,并针对资源受限环境进行了优化。