Configurable Safety Reward Model (CSRM)

新的CSRM模型通过可配置方法增强LLM安全对齐

研究人员开发了一种新的可配置安全奖励模型（CSRM），旨在帮助大型语言模型（LLMs）适应不断变化的 esafety 要求。该模型在安全合规性和奖励建模方面进行了联合优化，利用配置目标数据增强来提高指令遵循能力并保持相对严重性结构。CSRM 在 CoSApien 和 DynaBench 等基准测试中表现出最先进的性能，使 LLMs 能够更好地泛化到未见的 esafety 配置，并在无需额外人工标注的情况下实现改进的有用性-安全性权衡。