研究人员推出了HaloGuard 2.0,这是一种开源流式输出防护器,旨在增强AI模型的多语言响应安全性。该系统为生成的每个token分配一个安全概率,从而能够实时干预以阻止有害内容。HaloGuard 2.0建立在其前身HaloGuard 1.0的“宪法”基础上,并包含了一个新颖的训练阶段,以纠正模型最初只关注提示而非响应的捷径。与现有防护器相比,新模型在准确性和效率方面均有显著改进,其多语言版本在17种语言上也表现强劲。 AI
影响 增强了AI模型的实时安全机制,有可能减少有害内容在多种语言中的传播。
排序理由 该集群描述了一篇关于响应安全新AI模型的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →