Policy Attribution

新框架解决RLHF训练的LLM中的情感漂移问题

一篇新的研究论文提出了一个名为“策略归因”（Policy Attribution）的框架，用于理解和缓解在人类反馈强化学习（RLHF）训练的大型语言模型（LLM）中出现的情感漂移。研究发现，RLHF通过偏好能够最大化预期奖励的低风险词元，导致摘要变得过于中性，从而显著降低了多种语言的情感方差。研究人员开发了一种情感感知正则化技术，该技术可将情感漂移减少18-22%，同时不会对摘要质量产生负面影响。