bycloud

研究发现 RLHF 以不同于 SFT 的方式更新 LLM 权重

新研究表明，人类反馈强化学习 (RLHF) 以不同于预训练或监督微调的方式更新 LLM 权重。这些 RLHF 更新更稀疏，并且倾向于较少地旋转模型的principal subspaces，表明它们在修改模型行为方面存在定性差异。研究结果表明，RLHF 可能主要激发现有能力，而不是创造新能力，并且与监督微调相比，对不相关任务的性能下降可能更少。