Granite Guardian
PulseAugur coverage of Granite Guardian — every cluster mentioning Granite Guardian across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Granite Guardian 在多语言和受监管的 LLM 安全性方面优于 Llama Guard
Llama Guard 和 Granite Guardian 是两个用于 LLM 的开源安全分类器，但它们在功能和许可方面存在显著差异。Llama Guard 在内容安全方面表现出色，适用于英语应用程序，而 Granite Guardian 则提供更强大的开箱即用多语言支持，并包含接地性（groundedness）和推理检测（rationale detection）等关键功能，使其在受监管的行业中更加健壮。文章强调，Llama Gua…
-
新的防御和基准测试解决了恶意生成引擎优化在搜索中的问题 · 跟踪 4 个来源
研究人员开发了新的方法来防御生成式搜索引擎免受恶意的生成引擎优化（GEO）的侵害，这是一种用于操纵搜索结果的技术。一种方法 GEO Defender 使用两阶段防御来降低被操纵文档的排名，同时保留良性证据的使用，显著降低了攻击成功率。另一项工作 Counter-GEO-Bench 引入了一个基准来评估现有防御措施，发现许多现成的解决方案都不够。提出的基线 C-GEO Guard 在以对答案质量的最小影响来缓解 GEO 攻击方面显示出希望。
-
AI安全模型易受微调和嵌入绕过攻击
两篇新研究论文探讨了AI安全机制的漏洞。第一篇论文《当安全几何崩溃时》展示了即使是良性的守卫模型，微调也可能无意中破坏其安全对齐，导致完全丧失拒绝能力。第二篇论文《当基于嵌入的防御失效时》揭示了多智能体系统中当前的防御措施可能被攻击者绕过，攻击者可以构造与良性嵌入接近的消息，这表明需要纳入token级别的置信度信号。