Weak-to-Strong Alignment

通过偏差-方差视角分析AI对齐风险 · arXiv论文

一篇新发表在arXiv上的论文分析了AI系统中弱到强对齐相关的风险。该研究提出了一个偏差-方差-协方差框架，以理解强模型如何在弱模型知识范围之外的示例上产生自信的错误。研究评估了包括监督微调和强化学习方法在内的四种对齐流程，使用了PKU-SafeRLHF和HH-RLHF等数据集。研究结果表明，强模型的方差是导致“盲点欺骗”（模型自信地出错）的主要因素，表明方差可能是此类故障的潜在早期预警信号。