研究人员推出了一种新颖的PolicyAlign框架，旨在将大型语言模型（LLM）直接与自然语言安全策略对齐。该方法解决了安全要求不断变化的挑战，在这种情况下，传统的监督数据可能稀缺或延迟。PolicyAlign合成违反策略的指令，并使用on-policy自蒸馏来指导LLM行为，同时结合策略敏感过滤，通过选择引起最显著行为变化的指令来提高训练效率。实验表明，PolicyAlign在医学、法律和金融等各种场景中都能有效提高LLM的安全性，同时保留通用能力并最大限度地减少过度拒绝。 AI
影响 为LLM安全对齐提供了一种可扩展的方法，有可能减少对不断变化的安全要求进行广泛手动数据整理的依赖。
排序理由 该集群包含一篇详细介绍LLM安全对齐新方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2606.25442v1 Announce Type: new Abstract: Safety alignment of large language models (LLMs) typically depends on high-quality supervision data, such as safe demonstrations or preference pairs. However, in real-world deployment, emerging safety requirements are often specifie…
Safety alignment of large language models (LLMs) typically depends on high-quality supervision data, such as safe demonstrations or preference pairs. However, in real-world deployment, emerging safety requirements are often specified as natural-language policies, while correspond…