William Hoy

进化策略 vs GRPO：LLM 后训练产生不同的模型更新

一篇新的 arXiv 论文比较了用于大型语言模型后训练的进化策略（ES）和群组相对策略优化（GRPO）。虽然这两种方法在单任务和顺序学习场景中都能达到可比的准确性，但它们产生的模型更新却显著不同。ES 会引起更大、更广泛的变化，并伴有更多的离轨 KL 漂移，而 GRPO 则进行更小、更局部的调整。研究表明，无梯度和基于梯度的微调可以得出精度相似但几何形状不同的解决方案，从而影响知识保留和遗忘。