PolicyAlign

新的PolicyAlign框架直接将LLM与安全策略对齐

研究人员推出了一种新颖的PolicyAlign框架，旨在将大型语言模型（LLM）直接与自然语言安全策略对齐。该方法解决了安全要求不断变化的挑战，在这种情况下，传统的监督数据可能稀缺或延迟。PolicyAlign合成违反策略的指令，并使用on-policy自蒸馏来指导LLM行为，同时结合策略敏感过滤，通过选择引起最显著行为变化的指令来提高训练效率。实验表明，PolicyAlign在医学、法律和金融等各种场景中都能有效提高LLM的安全性，…