AIMS

新的意图感知训练提升了LLM安全分类器

研究人员开发了一种通过显式建模用户意图来提高大型语言模型安全分类能力的新方法。他们引入了AIMS，这是一个包含1,724个安全提示及其相关意图描述和危害标签的数据集。该数据集被用于评估各种训练技术，包括监督微调（SFT）和直接偏好优化（DPO）。研究发现，整合意图信息显著提高了安全分类器的性能，特别是在使用GRPO（一种强化学习技术）来奖励意图忠实时，在多个基准测试中取得了最佳结果。