Reddit TLDR

PerSPL框架利用无标签数据增强个性化奖励模型

研究人员推出PerSPL，一个用于个性化半监督偏好学习的新框架，旨在增强个性化奖励模型。该方法通过采用成对均值分数居中来稳定跨提示分数协调，从而有效利用现有模型通常会忽略的无标签响应数据。PerSPL迭代地将无标签响应转换为用户特定的训练信号，在包括PersonalLLM和Chatbot Arena在内的四个基准测试中优于七种基线方法。该框架在已知和未知用户的准确性方面均显示出显著的改进，特别是在真实用户偏好标签稀缺的情况下。