一篇新的研究论文提出了一个名为“策略归因”（Policy Attribution）的框架，用于理解和缓解在人类反馈强化学习（RLHF）训练的大型语言模型（LLM）中出现的情感漂移。研究发现，RLHF通过偏好能够最大化预期奖励的低风险词元，导致摘要变得过于中性，从而显著降低了多种语言的情感方差。研究人员开发了一种情感感知正则化技术，该技术可将情感漂移减少18-22%，同时不会对摘要质量产生负面影响。 AI
影响 解决了LLM对齐中的一个关键挑战，有望生成更细致、更具表现力的AI生成文本。
排序理由 该集群包含一篇研究论文，详细介绍了一个用于解决LLM训练中特定问题的新框架和技术。[lever_c_demoted from research: ic=1 ai=1.0]
- Gao, Schulman, and Hilton, 2023
- KL (Kullback-Leibler) penalty
- Krasitskii et al., 2026
- large language models
- Mikhail Krasitskii
- Policy Attribution
- reinforcement learning from human feedback
- reward model
- sentiment drift
- Stiennon et al., 2020
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
