Max Lamparth

新研究揭示AI奖励模型中持续存在的偏见

研究人员在语言奖励模型中发现了持续存在的偏见，这些模型用于使AI语言模型与人类偏好保持一致。尽管使用了高质量模型，但诸如偏爱更长的回答、谄媚和过度自信等问题依然存在，同时还出现了新的偏向特定回答顺序和模型生成风格的偏见。该研究提出了一种事后干预方法，通过解决虚假相关性来缓解这些偏见，该方法在不显著影响奖励质量且仅需少量标记数据的情况下，有效减少了目标偏见。