研究人员开发了AdaGuard,这是一种新颖的自适应守护模型,旨在通过允许用户定义策略来增强语言模型代理的安全性。与固定的守护模型不同,AdaGuard可以解释和执行因不同应用程序和任务而异的策略。为了促进这一点,创建了一个名为AdaptiveSafety的新数据集,其中包含近12,000个用于训练和测试的示例。该团队还引入了SafePO,这是一种强化学习算法,通过平衡解释性推理和最终判决来完善违规识别,从而使AdaGuard模型在安全基准测试中达到高精度。 AI
影响 通过允许灵活的用户定义策略来增强AI代理的安全性,有可能改善跨不同应用程序的部署。
排序理由 该集群描述了一篇关于AI安全的新模型、数据集和算法的详细研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →