Value-Guided Preference Distillation

新方法使用行为信号优化对话代理

研究人员开发了一种名为价值引导的偏好蒸馏（Value-Guided Preference Distillation）的新方法，用于优化多轮对话代理的长期结果。该方法将对话优化视为一个多目标强化学习问题，训练一个价值模型来预测不同前瞻视野下的用户行为。该方法使用密集的辅助行为信号来改进稀疏结果的信用分配，并包含一个具有反事实用户模拟的安全框架，用于在部署前识别潜在的策略退化。实际的 A/B 测试表明，这种蒸馏策略显著提高了用户留存率和积极行为。