Probe-RPO

新框架使用模拟对话训练大型语言模型进行战略说服

研究人员开发了一个新的框架，用于训练大型语言模型进行多轮战略说服。该框架解决了模拟真实说服对象和为对话信用分配提供有效监督的挑战。它引入了 PersuArena，一个用于生成真实说服轨迹的环境，以及 Probe-RPO，一种在线强化学习方法，它使用说服对象的内部状态的内省探针来创建密集的进程奖励。实验表明，与现有方法相比，该方法在各个领域都显著提高了接受率。