PersonaChat

新数据集揭示语言模型是状态盲的，忽略用户上下文

研究人员推出了 Chameleon，这是一个包含 5,001 个上下文心理画像的数据集，源自 1,667 名 Reddit 用户，旨在捕捉用户在多个交互上下文中的状态和特质。他们的研究结果表明，用户行为主要受状态（74%）而非特质（26%）的影响。该研究还发现，当前的大型语言模型是状态盲的，只关注用户特质，未能根据当前的交互上下文调整响应。此外，奖励模型对用户状态表现出不一致的反应，有时偏袒同一用户，有时又惩罚他们。