ToxicChat
PulseAugur coverage of ToxicChat — every cluster mentioning ToxicChat across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Mistral 发布自托管 3B 审核模型 Shieldstral 1.0
Mistral 发布了 Shieldstral 1.0，这是一款拥有 30 亿参数、专为自托管文本和图像内容审核设计的模型。该模型在 Apache 2.0 许可下提供，并包含完整权重，可在单块 16GB GPU 上运行，并可与常见的推理栈集成。其主要特点是“策略自适应”审核，允许用户通过自然语言提示定义审核规则，而无需重新训练。尽管 Mistral 报告了强劲的基准分数，但这些分数尚未得到独立验证，且该模型专注于审核而非通用任务。
-
新的AI审核方法平衡了有用性和安全性
研究人员开发了一种评估AI系统内容审核的新方法，侧重于端到端权衡而非孤立的分类器准确性。该研究引入了两个关键指标：有用性（Usefulness），衡量包含相关且无害响应的回合的比例；以及有害暴露（Harmful Exposure），跟踪包含有害响应的回合的比例。实验比较了不同的审核策略，包括仅输入、仅响应以及组合输入-响应阻止，发现仅响应阻止实现了高有用性，而输入-响应阻止则降低了有害暴露。研究还探讨了响应重写作为在保持安全水平的同时…
-
新的1.84亿参数安全分类器Semalith v1.4在提示注入方面优于Llama-Guard-3-8B
研究人员推出Semalith v1.4，这是一款专为大型语言模型设计的新型安全分类器。这款基于DeBERTa-v3-base构建的1.84亿参数模型在检测提示注入攻击和确保合规性方面表现出色，尤其是在金融服务领域。在评估中，Semalith v1.4在提示注入基准测试中优于Llama-Guard-3-8B，同时使用的参数量显著减少，尽管Llama-Guard-3-8B在一般危害检测方面表现更强。
-
新的操作系统内核原语增强LLM安全检查
一种名为ProbeLogits的新型内核级操作已为AI原生操作系统开发，允许它们在生成token之前直接读取LLM的logit分布。该原语使操作系统能够在不需要单独的guard模型的情况下将代理行为分类为安全或危险，从而显著降低计算开销。在Qwen2.5-7B、Llama-3-8B和Mistral-7B等模型上的评估表明，在HarmBench和ToxicChat等基准测试上实现了高拦截率，性能与Llama Guard 3等现有guar…
-
Gnosys 利用自主工程在标签稀疏的情况下改进 AI 分类器
Gnosys 是一种自主模型工程师，开发了一种在标记数据稀缺的情况下改进 AI 分类器的方法。他们的方法在 ToxicChat 安全基准测试中进行了测试，与 GEPA 等标准的提示优化技术相比，在危害检测方面有所提高。该方法通过融合稀疏的已验证标签和更大的未标记池来工程化一个更值得信赖的目标，重新校准质量估计并标记不可信的信号。
-
新的 D^2-Monitor 系统增强了扩散式大语言模型的安全性
研究人员推出了一种新颖的 D-LLMs 安全监控系统 $D^2$-Monitor。该系统解决了扩散式大语言模型（D-LLMs）监控的独特挑战，D-LLMs 通过多步过程生成文本，暴露了中间表示。$D^2$-Monitor 将“安全犹豫”——即中间状态反复接近探测器的决策边界——识别为潜在探测器失败的关键指标。它采用动态路由机制，仅当犹豫水平超过阈值时才激活资源密集型探测器，从而优化效率。