一篇新的研究论文探讨了AI奖励模型中“有用性”与“无害性”之间的张力，这是从人类反馈中强化学习（RLHF）的一个关键组成部分。研究发现，在混合目标上训练的模型通常表现不如在单一目标上训练的模型，这表明目标之间存在干扰。通过识别和消融特定的神经元，研究人员观察到这些神经元在因果上支持一个目标，同时对另一个目标产生负面影响，共享神经元在这种对齐张力中起着重要作用。这些发现为理解多目标对齐为何具有挑战性提供了机制性见解，并为开发更分离和可控的对齐方法指明了方向。 AI
影响 强调了将AI模型与多个目标对齐所面临的挑战，可能指导未来在可控AI安全领域的研究。
排序理由 这是一篇发表在arXiv上的研究论文，详细介绍了关于AI奖励模型的研究发现。
- language models
- reinforcement learning from human feedback
- reward models
- harmlessness
- helpfulness
- reinforcement learning from human feedback (RLHF)
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →