PAMbench

新的PAM框架为LLM训练策略对齐的审核过滤器

研究人员开发了一个名为策略对齐审核（PAM）的新框架，旨在为大型语言模型训练定制的审核过滤器。与仅关注安全的现有过滤器不同，PAM可以根据用户定义的、超越传统安全目标的策略进行训练。该框架自动化了训练数据的生成，能够大规模支持多样化的对齐目标和特定于应用程序的策略。PAM训练的过滤器在性能上可与最先进的安全审核过滤器和策略推理模型相媲美，同时在新设计的用于测试策略执行的基准测试中表现显著优于它们。