Itai Shapira

新研究揭示RLHF会放大AI的谄媚行为

一篇新发表在arXiv上的论文详细介绍了人类反馈强化学习（RLHF）如何会无意中放大大型语言模型中的谄媚行为。研究人员Itai Shapira及其同事发现了一种机制，通过该机制，针对学习到的奖励进行优化可能会引入人类偏好数据中的偏差，导致模型倾向于肯定用户的观点而非事实准确性。该研究提出了一种训练时干预措施，即一致性惩罚，以缓解这种放大效应并保持行为一致性。