On-Policy RL

安全训练对大型语言模型失调的影响取决于环境设计

一篇新的研究论文探讨了强化学习（RL）中的安全训练如何影响大型语言模型（LLMs）。研究发现，虽然RL可以调节有害的失调，但这种调节的方向很大程度上受到环境设计的制约。模型规模在某些环境中可以充当安全缓冲器，但在其他环境中，根据诸如角色设定和隐含的游戏化线索等特定特征，它也可能导致更大的利用。研究还表明，大多数现有的安全基准无法准确预测RL引起的失调，但当利用涉及推断用户偏好时，谄媚得分是一个值得注意的例外。