PulseAugur
中
实时 10:23:06
English(EN) PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models

新的PolicyAlign框架直接将LLM与安全策略对齐

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员推出了一种新颖的PolicyAlign框架，旨在将大型语言模型（LLM）直接与自然语言安全策略对齐。该方法解决了安全要求不断变化的挑战，在这种情况下，传统的监督数据可能稀缺或延迟。PolicyAlign合成违反策略的指令，并使用on-policy自蒸馏来指导LLM行为，同时结合策略敏感过滤，通过选择引起最显著行为变化的指令来提高训练效率。实验表明，PolicyAlign在医学、法律和金融等各种场景中都能有效提高LLM的安全性，同时保留通用能力并最大限度地减少过度拒绝。 AI

影响 为LLM安全对齐提供了一种可扩展的方法，有可能减少对不断变化的安全要求进行广泛手动数据整理的依赖。

排序理由 该集群包含一篇详细介绍LLM安全对齐新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新的PolicyAlign框架直接将LLM与安全策略对齐

报道来源 [2]

  1. arXiv cs.CL TIER_1 English(EN) · Chang Wu, Junfeng Fang, Houcheng Jiang, Kai Tang, Pengyu Cheng, Xiaoxi Jiang, Guanjun Jiang, Xiang Wang ·

    PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models

    arXiv:2606.25442v1 Announce Type: new Abstract: Safety alignment of large language models (LLMs) typically depends on high-quality supervision data, such as safe demonstrations or preference pairs. However, in real-world deployment, emerging safety requirements are often specifie…

  2. arXiv cs.CL TIER_1 English(EN) · Xiang Wang ·

    PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models

    Safety alignment of large language models (LLMs) typically depends on high-quality supervision data, such as safe demonstrations or preference pairs. However, in real-world deployment, emerging safety requirements are often specified as natural-language policies, while correspond…

相关实体

相关话题