ShieldGemma
PulseAugur coverage of ShieldGemma — every cluster mentioning ShieldGemma across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
研究发现，编码器分类器可提供经济高效的LLM安全评估
一篇新的研究论文探讨了编码器分类器（特别是来自ModernBERT家族的分类器）作为评估大型语言模型输出安全性的LLM基础评估器的经济高效替代方案的有效性。该研究将这些编码器分类器与各种LLM评估器和基于规则的方法在不同的对抗性攻击技术下进行了基准测试。研究结果表明，编码器分类器在识别有害内容方面可以提供可比的性能，同时具有更低的延迟和成本，为LLM安全评估提供了实用指导。
-
新系统检测AI安全分类器的分布漂移
研究人员开发了一个新的在线系统，用于监测已部署AI安全分类器的分布漂移。该系统利用序贯统计量来检测分类器性能何时因输入数据变化而下降。检测到漂移后，一个一致性弃权层会调整决策阈值以维持目标错误率，在检测对抗性攻击等各种漂移类型方面显示出有希望的结果。
-
AI安全评估器通过课程训练以提高规则一致性
研究人员开发了一种新的AI安全评估器训练策略，旨在提高其一致性和可靠性。该策略使用从提示-响应-标签三元组生成的动态规则来让评估器接触不同的评估标准。在固定规则的初始训练后，课程方法逐步引入这些动态规则，从而使一个12B模型在不同的规则表述下都能实现高准确性和稳定性。
-
GLiNER Guard 在单次推理中统一LLM安全与PII检测
一个名为GLiNER Guard (GLiGuard) 的新系统已被开发出来，用于简化大型语言模型的安全审核和PII检测。这个统一的编码器将多个分类器和NER模型折叠到一次前向传播中，与现有的自回归或碎片化编码器方法相比，显著降低了处理时间和成本。GLiGuard的模式驱动接口允许在不重新训练的情况下动态更改策略，使其成为生产LLM应用程序的更高效解决方案。
-
Fastino Labs 开源 GLiGuard 安全模型
Fastino Labs 发布了 GLiGuard，这是一个开源的安全审核模型，旨在比现有解决方案更快、更高效。与逐个 token 生成响应的传统 decoder-only 模型不同，GLiGuard 使用基于 encoder 的架构，在单次传递中对提示和响应进行分类。这种方法使其在运行速度快 16 倍的同时，能够匹配或超越更大模型的准确性，从而解决了 LLM 安全审核日益增长的成本和延迟问题。
-
Google发布Gemma 2 2B、ShieldGemma和Gemma Scope
Google宣布更新其Gemma模型系列，包括发布Gemma 2 2B。这一新版本旨在提高效率和可访问性，目标是为开发者提供强大而轻量级的AI能力。此次更新还推出了Gemma Scope，一个用于模型评估的新工具，以及ShieldGemma，一个用于增强负责任AI部署的安全过滤系统。