一项新的研究论文提出，人类对代理能力的信念会显著影响人类反馈强化学习（RLHF）中的偏好。该研究引入了一个包含这些信念的新偏好模型，以及一个基于信念不匹配来约束策略误差的规范性理论。一项人类研究的实证证据证实，信念会影响偏好并且可以被影响，这表明人类标注者通常不假定代理是最优的，这可能导致次优的RLHF结果。 AI
影响 强调了通过使人类信念与代理能力保持一致来改进AI训练的潜在途径。
排序理由 关于AI研究中新理论的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2506.01692v2 Announce Type: replace Abstract: Human preferences in RLHF are typically modeled as a function of the human's reward function or corresponding optimal state-action values. In this work, we propose that human beliefs about the capabilities of the agent being tra…