一篇新论文提出了三种不同的模型来理解人类标注者在人类反馈强化学习（RLHF）流程中的作用。这三种模型是“延伸”，即标注者模仿设计者的判断；“证据”，即标注者提供事实信息；以及“权威”，即标注者代表更广泛的人群观点。该论文认为，明确不同标注任务使用的模型可以改进RLHF流程设计和聚合方法。 AI
影响 阐明了RLHF的标注模型，可能改进对齐和安全性。
排序理由 分析RLHF标注方法的学术论文。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
Preference-based alignment methods, most prominently Reinforcement Learning with Human Feedback (RLHF), use the judgments of human annotators to shape large language model behaviour. However, the normative role of these judgments is rarely made explicit. I distinguish three conce…