rater state confound

新审计框架针对AI训练数据中的评分者情绪偏见

一篇新的arXiv论文介绍了一个框架，用于审计强化学习人类反馈（RLHF）数据中的一种特定偏见。该研究认为，人类评分者的情绪状态会影响他们的偏好判断，导致“评分者状态转移”，从而在AI生成响应的质量之外，微妙地编码了评分者的情绪。这种偏见会通过奖励建模和策略优化阶段传播，可能导致指令微调模型的行为发生偏差。该论文概述了一种识别和衡量这种“相关评分者状态偏见”的方法，并提出了一个审计协议来测试其是否存在。