PRISM dataset

研究发现AI回应评分与用户陈述偏好不符

一项新的研究论文探讨了用户陈述的偏好与他们实际奖励AI回应之间的脱节。该研究分析了PRISM数据集，其中1,396名参与者对21个大型语言模型的近30,000条回应进行了评分，发现回应长度和格式等未陈述的特征与调查的属性一样具有影响力。研究表明，虽然陈述的优先级与感知的AI回应属性一致，但它们并不能准确预测用户奖励的具体特征，这凸显了AI个性化和偏好提取的挑战。